[論文レビュー] Towards CNN Map Compression for camera relocalisation

Luis Contreras, Walterio Mayol‐Cuevas|arXiv (Cornell University)|Mar 2, 2017

Advanced Vision and Imaging参考文献 30被引用数 3

ひとこと要約

本論文は、カメラ再局所化のためのコンactなCNNベースの地図表現を提案し、増加する数のトレーニングトラジェクトリを用いて固定サイズの小さなCNN（CNN-F）を訓練することで、地図の圧縮を可能にする。最小限のアーキテクチャにもかかわらず、PoseNet（0.59mの平均誤差）と同等の再局所化精度を達成しており、モデルサイズを一定に保ちながらトレーニングデータの増加に伴い性能が向上することを示している。

ABSTRACT

This paper presents a study on the use of Convolutional Neural Networks for camera relocalisation and its application to map compression. We follow state of the art visual relocalisation results and evaluate response to different data inputs -- namely, depth, grayscale, RGB, spatial position and combinations of these. We use a CNN map representation and introduce the notion of CNN map compression by using a smaller CNN architecture. We evaluate our proposal in a series of publicly available datasets. This formulation allows us to improve relocalisation accuracy by increasing the number of training trajectories while maintaining a constant-size CNN.

研究の動機と目的

• 効率的なカメラ再局所化地図表現のためのコンactなCNNアーキテクチャの探求。
• 異なるセンサ入力（RGB、深度、空間的位置）が再局所化精度に与える影響の調査。
• モデルサイズを増やさずにトレーニングトラジェクトリの増加が精度向上に寄与するかの評価。
• 新しいデータで再訓練することで固定されたCNNアーキテクチャを維持しつつ地図圧縮を達成できるかの実証。
• 軽量なCNN-F（8層）とより複雑なモデル（PoseNet：23層）の性能比較。

提案手法

• 入力次元（n）に応じてデータタイプに適応可能な、5つの畳み込み層と3つの全結合層からなる軽量な8層のCNN-Fアーキテクチャを採用。
• PoseNetにインspiredされた損失関数を採用し、並進にはL2距離、回転には正規化されたクaternion誤差を組み合わせる。
• RGB、グレースケール、深度、3次元空間的位置、およびそれらの組み合わせを入力とし、クロップおよびリサイズ後に224×224の空間解像度を確保。
• 7-Scenesデータセットからの新しいトラジェクトリを追加することで、同じCNN-Fモデルを段階的にトレーニングし、アーキテクチャを固定したまま重みのみを更新。
• 主な指標としてメートル単位の平均再局所化誤差を用い、TUMおよび7-Scenesといった公開データセットで性能を評価。
• 入力モダリティ間およびPoseNetベースラインとの比較を通じて、相対的な性能を評価。

実験結果

リサーチクエスチョン

• RQ1 コンパクトなCNN（CNN-F）の性能は、PoseNetのようなより大きなモデルと比べてどのように異なるか？
• RQ2 RGB、深度、グレースケール、空間的位置、またはそれらの組み合わせのうち、どの入力モダリティが最も高い再局所化精度を達成するか？
• RQ3 モデルサイズを増やさずにトレーニングトラジェクトリの増加が再局所化精度の向上に寄与できるか？
• RQ4 固定サイズのCNNが、段階的な再訓練を通じて、次第に複雑化する地図情報をどの程度表現できるか？
• RQ5 最小限のCNNアーキテクチャを用いて、多様な入力に対して高い精度を維持しつつ、地図圧縮を達成できるか？

主な発見

• RGB入力を使用した場合、Red KitchenシーケンスにおいてCNN-Fモデルは平均再局所化誤差0.589メートルを達成し、PoseNetが報告した0.59mと同等の精度を示した。
• RGB入力が最良のパフォーマンス（0.589m誤差）を示し、深度（1.326m）、グレースケール（0.795m）、点群（0.791m）入力よりも優れていた。
• トレーニングトラジェクトリを追加することで、モデルサイズを変更せずに再局所化誤差が一貫して低下し、スケーラビリティと圧縮の可能性を示した。
• 複数のトラジェクトリでトレーニングした後でも、性能に飽和の兆しを示さず、さらなるデータで改善が可能であることが示された。
• 8層というわずかな層数で、PoseNet（23層）と同等の精度を達成したため、モデルサイズを大幅に削減しても性能の損失がないことが実証された。
• 重みの更新によって新たなトラジェクトリから情報量が増加する一方で、アーキテクチャが固定されているため地図表現のサイズは一定のまま維持され、効果的な地図圧縮が可能となった。