[論文レビュー] Self-supervised 3D Semantic Representation Learning for Vision-and-Language Navigation

Sinan Tan, Mengmeng Ge+3 more|arXiv (Cornell University)|Jan 26, 2022

Multimodal Machine Learning Applications被引用数 6

ひとこと要約

本論文は、視覚言語ナビゲーションのための自己教師付き3次元意味的表現学習フレームワークを提案する。RGB-D入力からボクセルレベルの3次元意味的特徴を学習するために、領域クエリの事前学習タスクを用いる。本手法は、R2Rの検証用未観測スプリットで68%の成功率を達成し、テスト用未観測スプリットで66%を記録し、ほとんどのRGBベースの手法を上回り、3次元意味的特徴がRGBのみの特徴よりも優れていることを示している。

ABSTRACT

In the Vision-and-Language Navigation task, the embodied agent follows linguistic instructions and navigates to a specific goal. It is important in many practical scenarios and has attracted extensive attention from both computer vision and robotics communities. However, most existing works only use RGB images but neglect the 3D semantic information of the scene. To this end, we develop a novel self-supervised training framework to encode the voxel-level 3D semantic reconstruction into a 3D semantic representation. Specifically, a region query task is designed as the pretext task, which predicts the presence or absence of objects of a particular class in a specific 3D region. Then, we construct an LSTM-based navigation model and train it with the proposed 3D semantic representations and BERT language features on vision-language pairs. Experiments show that the proposed approach achieves success rates of 68% and 66% on the validation unseen and test unseen splits of the R2R dataset respectively, which are superior to most of RGB-based methods utilizing vision-language transformers.

研究の動機と目的

• 視覚言語ナビゲーションにおけるRGBのみの特徴の限界、すなわちテクスチャノイズの影響や過学習の問題を解消するため。
• RGB-D観測から得られる3次元意味的情報を活用して、エンベッデッドエージェントの認識能力とナビゲーションの一般化性能を向上させるため。
• 密な3次元アノテーションを必要としない3次元意味的表現の自己教師付き事前学習手法を開発するため。
• LSTMベースのナビゲーションモデルにおいて、3次元意味的特徴と言語特徴を統合して性能を向上させるため。
• 3次元意味的特徴がRGB特徴よりも効果的であり、融合することで相乗効果をもたらすことを実証するため。

提案手法

• 特定のオブジェクトクラスが3次元ボクセル領域に存在するか否かを予測する領域クエリの事前学習タスクを設計し、これにより自己教師付きで3次元意味的表現を学習可能にする。
• パノラマRGBおよび深度観測を投影・ボクセライズ化することで、3次元意味的再構築を生成する。
• 3次元意味的エンコーダーは、ラベルなしの3次元再構築データ上で領域クエリタスクを用いて事前学習され、局所的な意味的コンテンツを符号化する能力を学ぶ。
• 言語特徴はBERTを用いて抽出され、ナビゲーション方策はクロスアテンションを統合したLSTMを用いて言語特徴と3次元意味的特徴を融合する。
• 最終的なナビゲーションモデルは、2段階の訓練プロセスを用いてR2Rデータセット上で微調整される：まずスピーカーオンラインデータで、次に元のR2Rトレーニングスプリットで。
• RGBブランチに、3次元意味的エンコーダーの出力を模倣することでRGB特徴初期化を実施し、特徴の整合性と性能向上を図る。

実験結果

リサーチクエスチョン

• RQ1 自己教師付き3次元意味的表現学習は、RGBのみの手法と比較して視覚言語ナビゲーション性能を向上させることができるか？
• RQ2 3次元意味的特徴を組み込むことで、未観測環境における過学習の低減と一般化性能の向上が達成できるか？
• RQ3 密な3次元アノテーションを必要とせず、領域クエリの事前学習タスクが3次元意味的エンコーダーを効果的に事前学習可能か？
• RQ4 ナビゲーション成功確率と頑健性の観点から、3次元意味的特徴とRGB特徴を比較するとどうなるか？
• RQ5 マルチモーダルフレームワークにおいて、3次元意味的特徴と初期化されたRGB特徴を融合することで相乗効果が得られるか？

主な発見

• 提案手法は、R2Rの検証用未観測スプリットで68%、テスト用未観測スプリットで66%の成功率を達成し、視覚言語トランスフォーマーを用いたほとんどのRGBベースの手法を上回った。
• 3次元意味的特徴のみを用いる場合、検証用未観測スプリットで66.8%の成功率を記録したが、これは標準的なRGB特徴で得られた58.1%の成功率を顕著に上回った。
• 3次元意味的エンコーダーの出力を模倣したRGBブランチの初期化により、性能は63.3%に向上し、3次元特徴がRGB特徴学習を効果的に導くことができることを示した。
• 初期化されたRGB特徴（RGB*）と3次元意味的特徴を融合した場合、67.7%の成功率を達成し、個々の特徴よりも優れた性能を示した。これは相乗効果があることを示している。
• アブレーションスタディにより、3次元意味的特徴がRGB特徴よりも効果的であり、領域クエリの事前学習タスクが効果的な自己教師付き事前学習を可能にすることが確認された。
• 2段階の訓練プロセス（まずスピーカーオンラインデータで、次にR2Rで）により、66.8%の成功率を達成し、データ拡張と微調整の有効性を示した。