[論文レビュー] Embodied Question Answering in Photorealistic Environments with Point Cloud Perception

Erik Wijmans, Samyak Datta+7 more|arXiv (Cornell University)|Apr 6, 2019

Multimodal Machine Learning Applications参考文献 39被引用数 13

ひとこと要約

本論文は、Matterport3D環境を用いた大規模かつ写真のようなリアルな身体的質問応答（EQA）ベンチマークを紹介し、3次元点群、RGB画像、または両方を用いてナビゲーション方策を評価する。点群はRGBよりも障害物回避に richer な信号を提供することを示し、再帰的モデルにおける行動コーディングを改善する新しい損失重み付け方式であるInflection Weightingを導入している。また、単純なベースライン、例えば前方のみ移動やランダムナビゲーションが、与えられた評価設定において驚くほど強いことが示された。

ABSTRACT

To help bridge the gap between internet vision-style problems and the goal of vision for embodied perception we instantiate a large-scale navigation task -- Embodied Question Answering [1] in photo-realistic environments (Matterport 3D). We thoroughly study navigation policies that utilize 3D point clouds, RGB images, or their combination. Our analysis of these models reveals several key findings. We find that two seemingly naive navigation baselines, forward-only and random, are strong navigators and challenging to outperform, due to the specific choice of the evaluation setting presented by [1]. We find a novel loss-weighting scheme we call Inflection Weighting to be important when training recurrent models for navigation with behavior cloning and are able to out perform the baselines with this technique. We find that point clouds provide a richer signal than RGB images for learning obstacle avoidance, motivating the use (and continued study) of 3D deep learning models for embodied navigation.

研究の動機と目的

• インターネットビジョンと身体的認識のギャップを埋めるために、Matterport3D環境における大規模かつ写真のようなリアルなナビゲーションタスクを構築すること。
• 身体的質問応答のためのナビゲーション方策を、3次元点群、RGB画像、またはその融合を用いて評価すること。
• 現実世界に近い環境における3次元認識（点群）と2次元認識（RGB）の相対的な強みを調査すること。
• 行動コーディングにおける新しい損失重み付け方式を含む、さまざまな訓練戦略の有効性を分析すること。
• 現在の評価設定において、前方のみ移動やランダムナビゲーションといった単純なベースラインが強く性能を発揮する理由を明らかにすること。

提案手法

• 著者らは、写真のようなリアルなMatterport3D（MP3D）環境にEmbodiedQAタスクを拡張し、83の新しい環境にわたり1136の質問を含むMP3D-EQAデータセットを構築した。
• ナビゲーション方策は、3次元点群、RGB画像、または両方を処理するエンドツーエンド微分可能なモデルを用いて訓練され、行動予測に再帰的アーキテクチャ（LSTMベース）が使用された。
• 行動遷移（インフレクション）と継続の間の交差エントロピー損失のバランスを取るために、新しい損失重み付け方式であるInflection Weightingが導入された。これは行動シーケンスにおけるクラスの不均衡に対処する。
• 最短経路トラジェクトリから得られるエキスパートのデモンストレーションを用いて行動コーディングによる訓練が行われ、認識モality、記憶、目的指定のコンponentsに関するアブレーションスタディが実施された。
• 評価には、成功率、SPL、ナビゲーション経路長といった標準的な指標が用いられ、複数回の実行における90％ブートストラップ信頼区間が報告された。
• MP3Dにおける「何色ですか？」タイプの質問を可能にするために、オブジェクトの色ラベルがAmazon Mechanical Turkを介して収集された。

実験結果

リサーチクエスチョン

• RQ1 写真のようなリアルな環境において、3次元点群に基づくナビゲーション方策は、RGB画像またはその組み合わせに基づくものと比べてどのように異なるか？
• RQ2 現在のEmbodiedQA評価設定において、前方のみ移動やランダムナビゲーションといった見かけ上単純なベースラインがなぜ強く性能を発揮するのか？
• RQ3 Inflection Weightingのような新しい損失重み付け方式は、行動コーディングにおける再帰的モデルの訓練安定性と性能を向上させることができるか？
• RQ4 点群は、RGB画像に比べて、幾何学的および障害物認識に richer な信号をどれほど提供するのか？
• RQ5 さまざまな認識モダリティ（点群、RGB、融合）は、エンドツーエンドで訓練されたエージェントにおける記憶力と言語の根拠づけとどのように相互作用するのか？

主な発見

• 前方のみ移動とランダムナビゲーションのベースラインは、MP3D-EQAテストセットでそれぞれ66.198%および13.775%の成功率を示し、現在の評価プロトコルにおいて強く、追い抜きにくいことが示された。
• 点群ベースのモデルは、RGBのみのモデルよりも障害物回避において優れている。最高性能を発揮したモデル（NoIW-M+PC+RGB+Q）は、32.496%の成功率と0.383のSPLを達成し、RGBのみのベースラインを顕著に上回った。
• 提案されたInflection Weighting損失方式は、複数のアーキテクチャおよび認識モダリティで性能を向上させ、最高のモデル（NoIW-M+PC+RGB+Q）が32.496%の成功率を達成し、行動シーケンスの不均衡を効果的に処理できることを示した。
• 点群とRGB画像の組み合わせが最良のパフォーマンスを発揮し、NoIW-M+PC+RGB+Qモデルは32.496%の成功率と0.383のSPLを達成した。3次元と2次元認識の相補的な利点が示された。
• 最短経路エキスパートベースラインは58.1%の成功率を示したが、最高の学習済み方策（NoIW-M+PC+RGB+Q）がそれを上回った。これは、適切な損失重み付けを用いたエンドツーエンド訓練により、エキスパートのデモンストレーションを上回る性能が達成可能であることを示している。
• 本研究は、EmbodiedQAの評価設定が、特定のトラジェクトリと成功基準のため、単純な方策を好む傾向があることを明らかにした。したがって、ベースラインの頑健性を考慮せずに性能向上を解釈する際には注意が必要である。