[論文レビュー] Where to Look Next: Unsupervised Active Visual Exploration on 360° Input

Soroush Seifi, Tinne Tuytelaars|arXiv (Cornell University)|Sep 23, 2019

Advanced Vision and Imaging参考文献 14被引用数 6

ひとこと要約

本論文は、深層強化学習や補助ネットワークを用いずに、空間的記憶マップとレチナ様グリムプスを用いることで、360°環境における教師なしアクティブビジョナルエクスプロレーションフレームワークを提案する。このモデルは、シーン再構築において先行手法を上回り、8つのグリムプス（画像ピクセルの11％をカバー）のみを用いて、最先端の再構築精度（12.49 MSE ×1000）とほぼ上限に近い分類性能を達成する。

ABSTRACT

We address the problem of active visual exploration of large 360° inputs. In our setting an active agent with a limited camera bandwidth explores its 360° environment by changing its viewing direction at limited discrete time steps. As such, it observes the world as a sequence of narrow field-of-view 'glimpses', deciding for itself where to look next. Our proposed method exceeds previous works' performance by a significant margin without the need for deep reinforcement learning or training separate networks as sidekicks. A key component of our system are the spatial memory maps that make the system aware of the glimpses' orientations (locations in the 360° image). Further, we stress the advantages of retina-like glimpses when the agent's sensor bandwidth and time-steps are limited. Finally, we use our trained model to do classification of the whole scene using only the information observed in the glimpses.

研究の動機と目的

• 制限されたカメラ帯域幅と離散的な視認ステップを伴う360°環境におけるアクティブビジョナルエクスプロレーションの課題に対処すること。
• ポリシー学習に深層強化学習や補助ネットワークに依存する先行手法の限界を克服すること。
• 空間的記憶マップアーキテクチャを新たに導入することで、グリムプス間の空間的相関を保持し、シーン再構築を改善すること。
• 中心部の高分解能を優先するレチナ様グリムプスを用いることで、帯域制約下でも効率的な情報収集を可能にすること。
• 得られたグリムプスデータに基づき、最小限のラベル付きデータで下流の分類タスクに表現を効果的に転移できることを実証すること。

提案手法

• 中央の16×16ピクセルをフル解像度とし、周囲の8ブロックを2倍のダウンサンプリング率で処理することで、帯域使用を最適化するレチナ様グリムプスを採用。
• L1損失を用いて、グランドトゥルースと再構築グリムプスの差を最小化するU-Netベースの局所的再構築モジュールを採用。
• グリムプスを正しい360°空間的位置にアップサンプリングして格納する空間的記憶マップ（fit-inマトリクス）を導入し、グリムプス間の空間的相関を保持。
• 各グリムプスのボトルネック特徴量を平均プーリングと畳み込みを用いてダウンサンプリングし、4096次元のfit-in特徴ベクトルを維持。
• fit-in特徴ベクトルに全結合層を適用してダウンサンプリングされた背景再構築を生成し、スキップ接続を介した逆畳み込みによりアップサンプリング。
• 局所的再構築、全再構築、および注目モジュールの損失を統合したマルチスケールL1損失を最適化対象とし、注目モジュールは再構築誤差を用いてグリムプス選択を誘導するように訓練。

実験結果

リサーチクエスチョン

• RQ1 深層強化学習や補助ネットワークを一切用いずに、アクティブ360°ビジョナルエクスプロレーションで優れた再構築性能を達成できるか？
• RQ2 LSTMのような再帰的記憶機構と比較して、空間的記憶マップはグリムプス間の空間的相関をどれほど効果的に保持できるか？
• RQ3 帯域制約下で、レチナ様グリムプスは情報効率をどの程度向上できるか？
• RQ4 グリムプスから学習した表現は、最小限のラベル付きデータで下流の分類タスクに効果的に転移できるか？
• RQ5 グランドトゥルース再構築誤差に基づいてグリムプスを選択した場合の上限性能と比較して、本モデルの性能はどの程度か？

主な発見

• 本手法はSUN360データセットで再構築MSEが12.49 ×1000（RMSE 28.5）を達成し、Side-kick Policy Learning（23.36）やLearning to Look Around（23.16）といった先行手法を顕著に上回る性能を示した。
• 5つのグリムプス（画像ピクセルの11％をカバー）のみで、以前の手法が19％のピクセルをカバーする6つのグリムプスを用いた性能をすでに上回った。
• グリムプス数が増えるにつれて再構築性能が滑らかに向上し、時間経過とともに本手法とベースラインとの性能差が拡大した。
• 8つのグリムプスのみを用いても65％の分類精度を達成し、フル画像分類器が達成する上限の65％に近い性能を示した。
• ランダムなグリムプス選択（MSE 18.73）や近隣ベースの選択（MSE 16.64）と比較して、本手法は注目メカニズムの有効性を実証した。
• 空間的記憶マップの使用により、LSTMベースのアプローチと比較して空間構造の保持が向上し、テクスチャや詳細の損失が低減された。