[論文レビュー] General Evaluation for Instruction Conditioned Navigation using Dynamic Time Warping

Gabriel Ilharco, Vihan Jain+3 more|arXiv (Cornell University)|Jul 11, 2019

Speech and dialogue systems被引用数 37

ひとこと要約

nDTWを導入した正規化されたDynamic Time Warping指標で、instruction-conditioned navigationを評価し、SDTWはその成功制約付き変種であることを示し、人間の判断との相関を強化し、VLNタスクでの RL 報酬信号を改善する。

ABSTRACT

In instruction conditioned navigation, agents interpret natural language and\ntheir surroundings to navigate through an environment. Datasets for studying\nthis task typically contain pairs of these instructions and reference\ntrajectories. Yet, most evaluation metrics used thus far fail to properly\naccount for the latter, relying instead on insufficient similarity comparisons.\nWe address fundamental flaws in previously used metrics and show how Dynamic\nTime Warping (DTW), a long known method of measuring similarity between two\ntime series, can be used for evaluation of navigation agents. For such, we\ndefine the normalized Dynamic Time Warping (nDTW) metric, that softly penalizes\ndeviations from the reference path, is naturally sensitive to the order of the\nnodes composing each path, is suited for both continuous and graph-based\nevaluations, and can be efficiently calculated. Further, we define SDTW, which\nconstrains nDTW to only successful paths. We collect human similarity judgments\nfor simulated paths and find nDTW correlates better with human rankings than\nall other metrics. We also demonstrate that using nDTW as a reward signal for\nReinforcement Learning navigation agents improves their performance on both the\nRoom-to-Room (R2R) and Room-for-Room (R4R) datasets. The R4R results in\nparticular highlight the superiority of SDTW over previous success-constrained\nmetrics.\n

研究の動機と目的

• 従来の成功ベースの指標を超えて、命令条件付きナビゲーションにおける参照軌道への忠実度をより良く捉える指標を動機づける。
• 離散/連続環境でのナビゲーション経路のDTWを定義し正規化して、スケール/密度不変性と解釈性を保証する。
• SDTWを提案し、成功と忠実度を組み合わせ、ヒトに整合した評価と実用的なRLの利点を示す。

提案手法

• 環境距離を各ステップのコストとして使用することで、ナビゲーションにDTWを適用する。
• |R|としきい値d_thでDTWを正規化し、負の指数を適用して[0,1]のnDTWを得る。
• SDTW = SR * nDTWを定義し、成功と軌道忠実度の両方を捉える。
• 動的計画法による正確な計算を二次時間で提供し、線形時間近似も可能（例: node samplingによるFastDTW）。

実験結果

リサーチクエスチョン

• RQ1 nDTWは既存の指標よりも軌道類似性の人間による判断との相関を高められるか？
• RQ2 nDTWを報酬信号としてVLNタスクでRLエージェントの性能を効果的に向上させられるか？
• RQ3 SDTWはSPL、SED、CLSなどの以前の指標より成功と忠実度の両方をより効果的に捉えるか？
• RQ4 グラフベースと連続ナビゲーション設定の両方に適用可能か？
• RQ5 nDTW/SDTWがRoom-to-Room(R2R)およびRoom-for-Room(R4R)の性能に与える影響は？

主な発見

SR（R2R）	SPL（R2R）	SED（R2R）	CLS（R2R）	nDTW（R2R）	SDTW（R2R）	SR（R4R）	SPL（R4R）	SED（R4R）	CLS（R4R）	nDTW（R4R）	SDTW（R4R）
5.1	3.3	5.8	29.0	27.9	3.6	13.7	2.2	16.5	22.3	18.5	4.1
43.7	38.4	31.9	53.5	54.4	36.1	28.7	15.0	9.6	33.4	26.9	11.4
44.4	41.4	33.9	57.5	58.3	38.3	28.5	21.4	9.4	35.4	30.4	12.6

• nDTWとSDTWは、対応する無制約および成功制約の評価において、競合指標より人間のランキングとの相関が大幅に高い。
• 報酬信号としてnDTWを用いると、従来の報酬スキームと比較してR2RおよびR4Rタスクでエージェントの性能が向上する。
• SDTWは評価された設定全体でSPL、SED、CLSよりも成功と忠実度の両方を示す明確な信号を提供する。
• RL実験では、nDTWに基づく忠実度指向の報酬が標準的なVLN指標を上回るか同等の結果を生む。
• nDTWは正確にはO(|R||Q|)時間で計算可能で、サンプリングによる線形時間近似も可能、スケーラブルな評価と学習を実現。
• 著者は人間実験とnDTW/SDTWが既存の指標より優れていることを示す比較を提供する。