[論文レビュー] Soft Expert Reward Learning for Vision-and-Language Navigation

Wang Hu, Qi Wu+1 more|arXiv (Cornell University)|Jul 21, 2020

Multimodal Machine Learning Applications参考文献 19被引用数 5

ひとこと要約

本論文は、ビジョンアンドランゲージナビゲーションのための新しい強化学習フレームワークであるSoft Expert Reward Learning (SERL)を提案する。このフレームワークは、一般化性能の向上と誤差蓄積の低減を目的として、Soft Expert Distillation (SED) および Self Perceiving (SP) モジュールを組み合わせたものである。SEDは、ランダムな射影空間におけるエージェントとエキスパートの行動の類似度を測定することで、連続的で微分可能な報酬信号を提供する。一方、SPは予測されたナビゲーションスケジュールを用いて、より速いゴール到達を促進する。SERLは、VLN-R2Rベンチマークで最先端の性能を達成し、未観測のテストスプリットにおいて56%の成功率と48%のSPLを記録した。これは、事前学習済みの手法を上回る性能であり、学習済みおよび未学習の環境の両方で優れた結果を示している。

ABSTRACT

Vision-and-Language Navigation (VLN) requires an agent to find a specified spot in an unseen environment by following natural language instructions. Dominant methods based on supervised learning clone expert's behaviours and thus perform better on seen environments, while showing restricted performance on unseen ones. Reinforcement Learning (RL) based models show better generalisation ability but have issues as well, requiring large amount of manual reward engineering is one of which. In this paper, we introduce a Soft Expert Reward Learning (SERL) model to overcome the reward engineering designing and generalisation problems of the VLN task. Our proposed method consists of two complementary components: Soft Expert Distillation (SED) module encourages agents to behave like an expert as much as possible, but in a soft fashion; Self Perceiving (SP) module targets at pushing the agent towards the final destination as fast as possible. Empirically, we evaluate our model on the VLN seen, unseen and test splits and the model outperforms the state-of-the-art methods on most of the evaluation metrics.

研究の動機と目的

• 行動クラーニングに基づくVLNエージェントが未観測環境で失敗する誤差蓄積問題に対処すること。
• ビジョンアンドランゲージナビゲーションにおける強化学習の手作業による報酬設計の限界を克服すること。
• ソフトな模倣と内在的なスケジュールベース報酬信号を組み合わせることで一般化性能を向上させること。
• ナビゲーションの正確性と効率性を向上させる、強力で補完的な報酬学習フレームワークを開発すること。
• VLN-R2Rベンチマークの学習済み、未学習、テストスプリットのすべてで最先端の性能を達成すること。

提案手法

• エージェントとエキスパートの観測-行動ペアの間の類似度を、ランダムに射影された潜在空間内で連続的なスコアとして計算する、Soft Expert Distillation (SED) を導入する。この方法により、ソフトで微分可能な報酬信号が生成される。
• ランダム射影空間における密度関数を用いて、エージェントの行動がエキスパートの行動にどれほど近いかを測定し、ハードな模倣を確率的・連続的な一致に置き換える。
• エージェントのゴール指向ナビゲーションスケジュールを予測するSelf Perceiving (SP)モジュールを設計し、その予測結果を内在的報酬として用いて収束を加速する。
• SEDとSPの報酬を統合したRL目的関数に統合し、エージェントがエキスパートに類似した行動と効率的な経路計画の両方を学習できるようにする。
• 合成報酬を用いてポリシー勾配法によりエージェントをエンドツーエンドで訓練し、模倣と効率性の両方を同時に最適化できるようにする。
• 推論時にビームサーチを適用することで、確率が最も高い軌道を選択し、成功率をさらに向上させる。

実験結果

リサーチクエスチョン

• RQ1 ハードな行動クラーニングと比較して、連続的でソフトな模倣信号は、ビジョンアンドランゲージナビゲーションにおける誤差蓄積を低減できるか？
• RQ2 手作業で設計された環境固有の報酬に依存せずに、内在的なスケジュールベース報酬はナビゲーション速度と一般化性能を向上させられるか？
• RQ3 補完的な報酬信号（ソフトエキスパート模倣と自己認識）は、未観測環境での性能向上にどのように作用するか？
• RQ4 提案されたSERLフレームワークは、VLN-R2Rデータセットの学習済み、未学習、テストスプリットのすべてに効果的に一般化できるか？
• RQ5 SEDとSP報酬成分のバランスをとるハイパーパrameterに、モデルの性能はどれほど敏感か？

主な発見

• SERLモデルは、VLN-R2Rデータセットのテスト未観測スプリットで56%の成功率と48%のSPLを達成し、最先端の手法を上回った。
• SEDオンリーモデルは、バリデーション未観測セットで成功率を6ポイント向上（52%）し、SPLを0.48にまで引き上げた。これは、ソフトな模倣の有効性を示している。
• SPオンリーモデルは、バリデーション未観測セットで成功率を53%、SPLを0.46にまで向上させた。これは、内在的スケジュール報酬がナビゲーション効率を向上させることを示している。
• SEDとSPの両モジュールを備えた完全なSERLモデルは、バリデーション未観測セットで56%の成功率と48%のSPLを達成し、両モジュールの補完的性質を確認した。
• ビームサーチを適用した場合、SERLモデルはテスト未観測セットで71%の成功率を達成し、高いロバストネスと推論時性能を示した。
• 感度分析の結果、αとβのハイパーパrameterのさまざまな設定に対しても安定した性能を示した。最適なパフォーマンスを得るにはα=β=0.1が推奨される。