[論文レビュー] Navigation Turing Test (NTT): Learning to Evaluate Human-Like Navigation

Sam Devlin, Raluca Georgescu+7 more|arXiv (Cornell University)|May 20, 2021

Social Robot Interaction and HRI被引用数 5

ひとこと要約

本稿では、6つの分類アーキテクチャを用いて、ナビゲーション行動の類人間性に関する人間の判断を予測する機械学習フレームワークである自動ナビゲーションチューリングテスト（ANTT）を紹介する。ANTTは人間とエージェントの軌道を識別する上で高い精度を達成しているが、エージェント同士の微細な比較には苦労しており、類人間性の微細な側面をモデル化するという重要な課題が浮き彫りになっている。

ABSTRACT

A key challenge on the path to developing agents that learn complex human-like behavior is the need to quickly and accurately quantify human-likeness. While human assessments of such behavior can be highly accurate, speed and scalability are limited. We address these limitations through a novel automated Navigation Turing Test (ANTT) that learns to predict human judgments of human-likeness. We demonstrate the effectiveness of our automated NTT on a navigation task in a complex 3D environment. We investigate six classification models to shed light on the types of architectures best suited to this task, and validate them against data collected through a human NTT. Our best models achieve high accuracy when distinguishing true human and agent behavior. At the same time, we show that predicting finer-grained human assessment of agents' progress towards human-like behavior remains unsolved. Our work takes an important step towards agents that more effectively learn complex human-like behavior.

研究の動機と目的

• 人間による評価のスケーラビリティと速度の制限を解消するため、類人間的ナビゲーション行動の評価手法を改善すること。
• 強化学習エージェントのトレーニングイテレーション全体にスケールする人間の判断の自動プロキシを開発すること。
• ナビゲーション軌道における類人間性を最も的確に捉える神経ネットワークアーキテクチャを同定すること。
• 人間がアノテートした判断（人間ナビゲーションチューリングテスト：HNTT）と照合して、自動化されたシステムを検証すること。
• 現在のモデルが、単純な人間対エージェントの区別を超えて、類人間性の微細な段階的差異を捉えられるかどうかを調査すること。

提案手法

• 人間プレイヤーと強化学習エージェントの軌道データを用いて、2つのシンボリック、2つのビジュアル、2つのハイブリッドの分類モデルを学習する。
• テスト軌道とは別に得たデータを用いて、5分割交差検証を実施し、学習とハイパーパramータチューニングを行う。
• モデルの予測結果を軌道レベルでメジャーな投票により統合することで、耐性性を向上させる。
• 2種類の人の判断（人間対エージェント、シンボリック対ハイブリッドエージェントペア）とモデル出力を比較する。
• 識別精度（人間／エージェントの区別）とスピアマン順位相関（相対的な類人間性順位付け）を用いて性能を評価する。
• 自動化されたANTTシステムの検証に、人間がアノテートした判断（人間NTT）を基準として用いる。

実験結果

リサーチクエスチョン

• RQ1 自動化されたモデルは、ナビゲーション行動における人間の類人間性判断を正確に予測できるか？
• RQ2 どのモデルアーキテクチャが、人間とエージェントの軌道を区別する能力を最も効果的に学習できるか？
• RQ3 自動化されたモデルは、単純な人間対エージェント分類を超えて、異なるエージェントの相対的な類人間性をどの程度正確に捉えられるか？
• RQ4 シンボリックモデルとビジュアルモデルは、未観測の軌道にどの程度一般化できるか？
• RQ5 現在のモデルが、エージェント行動の微細な人間判断を捉える際に抱える限界は何か？

主な発見

• すべてのモデルが保持されたテストデータにうまく一般化しており、識別精度はTD-CNNの0.583からシンボリックモデルの0.850の範囲にわたっていた。
• シンボリックモデルが人間の判断と最も高い一致を示しており、特に人間とエージェントの軌道を区別する場面で顕著だった。
• スピアマン順位相関では、人間対エージェントの比較において中程度から高い一致が得られ、特にシンボリックモデルとトップダウンCNNモデルで顕著だった。
• ハイブリッド・シンボリックエージェントペアの順位付け性能は低く、負の相関と高い分散を示しており、微細な類人間性を正しく捉えていないことが示された。
• 二値分類において高い精度を達成しているにもかかわらず、現在のモデルは類人間性スケールに沿ったエージェントの順位付けを信頼性を持って行えないため、未解決の課題が残っている。
• 結果から、直感に反して、より洗練されたビジュアル特徴よりも、シンボリック表現の方が人間の判断メカニズムとよりよく一致している可能性が示唆された。