[論文レビュー] On the Evaluation of Vision-and-Language Navigation Instructions

Ming Zhao, Peter Anderson+5 more|arXiv (Cornell University)|Jan 26, 2021

Multimodal Machine Learning Applications参考文献 34被引用数 11

ひとこと要約

本稿は、視覚言語ナビゲーション誘導生成の自動評価指標の有効性を検証し、BLEU、ROUGE、METEOR、CIDErといった従来の自動指標が、接地されたナビゲーション誘導文の評価に効果を示さないことを示している。本稿では、人間のナビゲーション成果と最も高い相関を示す、新しい誘導文・経路適合性モデルを提案する。このモデルは、標準的指標やBERTScoreを上回り、参照文が存在する場合にはSPICEをシステムレベルの評価に、参照文が存在しない場合には適合性モデルをインスタンスレベルのスコア付けに使用することを推奨する。

ABSTRACT

Vision-and-Language Navigation wayfinding agents can be enhanced by exploiting automatically generated navigation instructions. However, existing instruction generators have not been comprehensively evaluated, and the automatic evaluation metrics used to develop them have not been validated. Using human wayfinders, we show that these generators perform on par with or only slightly better than a template-based generator and far worse than human instructors. Furthermore, we discover that BLEU, ROUGE, METEOR and CIDEr are ineffective for evaluating grounded navigation instructions. To improve instruction evaluation, we propose an instruction-trajectory compatibility model that operates without reference instructions. Our model shows the highest correlation with human wayfinding outcomes when scoring individual instructions. For ranking instruction generation systems, if reference instructions are available we recommend using SPICE.

研究の動機と目的

• 接地ナビゲーション誘導文生成のための既存自動指標の有効性を評価すること。
• 自動指標に依存せず、人間のナビゲーターによる評価を通じて、最先端の誘導文生成モデルの性能を評価すること。
• 参照文が不要な適合性モデルを構築し、誘導文と経路の適合性を測定することで、誘導文のスコア付けを改善すること。
• 参照文が利用可能かどうかに応じて、評価指標を選択するための実用的アドバイスを提供すること。

提案手法

• 誘導文と経路を共通の潜在空間にマップする二重エンコーダー型ニューラルモデルを提案し、適合性スコアを計算する。
• 正しい誘導文・経路ペアの整合性を向上させるために、コントラスト損失とペairワイズ分類損失を併用してモデルを訓練する。
• 一般化を向上させるために、バックトランスレーションと、誘導文・経路の摂動をハードネガティブ例として用いる。
• 異なる評価設定における相関係数の90%信頼区間を計算するために、ブートストラップリサンプリングを用いる。
• 提案された適合性モデルを、標準的指標（BLEU、ROUGE、METEOR、CIDEr、SPICE、BERTScore）およびVLNエージェントベースのスコアと、人間評価データ上で比較する。
• 参照文が存在する場合にはSPICEをシステムレベルの評価に、参照文が存在しない場合には適合性モデルをインスタンスレベルの評価に使用することを推奨する。

実験結果

リサーチクエスチョン

• RQ1 視覚言語ナビゲーション誘導文について、BLEU、ROUGE、METEOR、CIDErといった既存の自動評価指標は、人間のナビゲーション成果とどの程度相関するか？
• RQ2 人間のナビゲーターによる評価において、最先端の誘導文生成モデルは、単純なテンプレートベースのシステムと比べてどの程度優れているか？
• RQ3 学習された誘導文・経路適合性モデルは、個々のナビゲーション誘導文に対する信頼できる、参照文が不要な評価指標として機能できるか？
• RQ4 コントラスト損失、バックトランスレーション、データ拡張などの訓練技術は、適合性モデルの性能をどのように向上させるか？
• RQ5 どの評価指標が人間の誘導文品質およびナビゲーション成功の判断を最もよく反映しているか？

主な発見

• BLEU、ROUGE、METEOR、CIDErといった標準的テキスト指標は、人間のナビゲーション成果と有意な相関を示さず、接地ナビゲーション誘導文の評価には効果を示さない。
• 提案された誘導文・経路適合性モデルは、インスタンスレベルで人間のナビゲーション成果とのケンダールのτ相関が最も高く、BERTScore や VLN エージェントベースのスコアを上回った。
• SPICEは、システムレベルの評価において、成功確率やSPLといった指標に関してのみ、意味のある相関を示す唯一の標準的指標であった。
• トレーニング時にコントラスト損失を追加すると、適合性モデルのAUCが9–10%向上し、バックトランスレーションによりポジティブ例の言い換えが可能になり、性能が向上した。
• モデルベースの評価アプローチは分布シフトに対して頑健であり、標準的指標とは異なり、ドメイン外の誘導文生成モデルに対しても良好に機能した。一方、標準的指標は広い信頼区間と一貫性のない順位付けを示した。
• 本研究では、誘導文生成分野における大幅な改善余地が明らかになった。最良のモデルですら、人間の試行においてテンプレートベースのベースラインよりわずかに優れていた。