[論文レビュー] Evaluating the Robustness of Collaborative Agents

P. A. Knott, Micah Carroll+5 more|arXiv (Cornell University)|Jan 14, 2021

Reinforcement Learning in Robotics参考文献 33被引用数 8

ひとこと要約

本稿では、人間とAIの協調的相互作用における協調的エージェントの頑健性を評価するユニットテスト手法を提案する。Overcooked環境における極端なケースのシナリオを用いて、平均報酬指標では捉えきれない障害を検出する。テストスイートが、報酬指標と頑健性指標が乖離する状況において特に顕著な、新たな相手の行動に強い耐性といった重要な頑健性のインサイトを明らかにすることを示している。

ABSTRACT

In order for agents trained by deep reinforcement learning to work alongside humans in realistic settings, we will need to ensure that the agents are \emph{robust}. Since the real world is very diverse, and human behavior often changes in response to agent deployment, the agent will likely encounter novel situations that have never been seen during training. This results in an evaluation challenge: if we cannot rely on the average training or validation reward as a metric, then how can we effectively evaluate robustness? We take inspiration from the practice of \emph{unit testing} in software engineering. Specifically, we suggest that when designing AI agents that collaborate with humans, designers should search for potential edge cases in \emph{possible partner behavior} and \emph{possible states encountered}, and write tests which check that the behavior of the agent in these edge cases is reasonable. We apply this methodology to build a suite of unit tests for the Overcooked-AI environment, and use this test suite to evaluate three proposals for improving robustness. We find that the test suite provides significant insight into the effects of these proposals that were generally not revealed by looking solely at the average validation reward.

研究の動機と目的

• 深層強化学習で訓練された協調的AIエージェントの頑健性を評価する課題に取り組むこと。特に、実稼働環境で予期しない人間の行動や状態にさらされた場合の課題を対象とする。
• 平均報酬評価に依存するだけでは、稀な状況や新しいエッジケースにおける性能を捉えきれないという限界を克服すること。
• ソフトウェア工学におけるユニットテストにインspiredされた体系的で、あらゆる相手や環境的条件下でのエージェント行動の失敗モードを事前に同定できるテストフレームワークを構築すること。
• 報酬ベースの指標だけに依存するのではなく、テストベースの評価が、特に変動が激しい現実世界のデプロイ環境において、より洗練され信頼性の高い頑健性のインサイトを提供することを示すこと。

提案手法

• 特定のエッジケース（例：無反応、頑固、AFKの相手）の相手行動や、特定の環境状態（例：誤った配置のアイテム、非標準的なオブジェクト配置）をターゲットにしたユニットテストスイートを設計する。
• エージェントが動的制約のもとで料理と提供を協調して行う必要があるOvercooked-AI環境に、テストスイートを適用する。
• 3つの頑健性向上戦略を評価する：(1) 心理的理論（ToM）による人間モデル品質の向上、(2) 人間モデルの多様性を高めるためにエージェントの集団を用いる、(3) 人間同士のプレイ状態から訓練を初期化する。
• 平均報酬だけでなく、各ユニットテストの合格率を測定することで、頑健性と平均性能の比較を可能にする。
• 行動クラーニング（BC）とToMエージェントの混合集団を用いて、さまざまな失敗モードにおける報酬と頑健性のトレードオフを調査する。
• 集団サイズやパrameter選択が頑健性に与える影響を評価し、ToMパrameterのランダムサンプリングと手動チューニングの両方を比較する。

実験結果

リサーチクエスチョン

• RQ1 平均報酬評価と、人間の相手を含む新しい状況やエッジケースにおける頑健性の間には、どの程度相関があるか？
• RQ2 ユニットテストスイートは、協調的深層強化学習における標準的な報酬ベースの評価では見えない頑健性の欠陥を検出できるか？
• RQ3 人間モデル品質の向上、モデル多様性、状態多様性といった異なる戦略が、ユニットテストで測定されたエージェントの頑健性にどのように影響を与えるか？
• RQ4 特定の失敗モードに対する頑健性の向上と、平均性能の向上の間にトレードオフがあるか？
• RQ5 ユニットテストは、標準指標では捉えきれない、メモリ関連の問題のような微細な頑健性の欠陥を同定できるか？

主な発見

• ヴァニラの深層強化学習エージェントは、ユニットテストスイートで65％未満のスコアを記録し、標準的な訓練では協調的行動の頑健性が得られないことを確認した。
• 人間同士のプレイ状態から初期化することで、テストスイートにおける頑健性が向上したが、平均報酬評価は低下した。これは、平均性能と新しい状態に対する耐性の間にはトレードオフがあることを示している。
• 行動クラーニング（BC）と理論的思考（ToM）エージェントの混合集団を用いることで、平均報酬評価が著しく向上した（おそらく、検証セットが混合しているため）。しかし、テストスイートの合格率はややしか改善しなかった。
• 混合集団はエージェントの頑健性を向上させたが、純粋なBC集団と比較して、メモリ頑健性はわずかに悪化した。これは、頑健性の次元ごとに複雑なトレードオフがあることを示唆している。
• ToMパrameterのランダムサンプリングが、手動でチューニングされた多様性よりも優れた結果を示した。これは、モデル多様性に意図的な設計を施すという仮定に疑問を呈する。
• 集団サイズを10から500に増やすことで、すべての指標で徐々に改善が見られた。これは、より大きな集団が頑健性を高めることを示している。