[論文レビュー] Should artificial agents ask for help in human-robot collaborative problem-solving?

Adrien Bennetot, Vicky Charisi+1 more|arXiv (Cornell University)|May 25, 2020

Child and Animal Learning Development参考文献 51被引用数 5

ひとこと要約

本論文は、Q学習エージェントを用いたシミュレーションを通じて、子供とロボットの協働問題解決におけるエージェントが自発的に支援を求めるべきかどうかを調査している。両者（子供と強化学習エージェント）が、要求された場合でも、通常の方法で提供された場合でも、専門家の支援によって同等に学習が促進されることを発見した。これは、支援の開始方法に関わらず、学習が加速することを示している。

ABSTRACT

Transferring as fast as possible the functioning of our brain to artificial intelligence is an ambitious goal that would help advance the state of the art in AI and robotics. It is in this perspective that we propose to start from hypotheses derived from an empirical study in a human-robot interaction and to verify if they are validated in the same way for children as for a basic reinforcement learning algorithm. Thus, we check whether receiving help from an expert when solving a simple close-ended task (the Towers of Hanoï) allows to accelerate or not the learning of this task, depending on whether the intervention is canonical or requested by the player. Our experiences have allowed us to conclude that, whether requested or not, a Q-learning algorithm benefits in the same way from expert help as children do.

研究の動機と目的

• 人間の発達的学習を模倣して、人工エージェントが協働的問題解決において自発的に支援を求めるべきかどうかを調査すること。
• 実験的ヒューマン・ロボット相互作用（HRI）研究から得られた仮説が、強化学習を用いた人工エージェントに一般化されるかどうかを検証すること。
• 簡略化されたタスク（ハノイの塔）において、支援がエージェントによって要求された場合と、通常の方法で提供された場合の、Q学習エージェントの学習効率を比較すること。
• エージェントの内発的動機付けと不確実性の信号伝達が、人間らしく支援を求める行動を模倣できるかを評価すること。
• 支援の専門的介入が、支援がエージェントから始まるか環境から始まるかに関わらず、学習を加速する役割を果たすかを検討すること。

提案手法

• 簡略化されたハノイの塔タスクにおいて、Q学習エージェント（LA1）と支援要求エージェント（LA2）を用いて、人間-ロボット相互作用のシナリオをシミュレートする。
• 2つの構成を実装：通常の支援（エージェントの最良行動が最適でない場合に専門家が介入）と、支援要求（エージェントの最良Q値がしきい値未満になると要求する）。
• エージェントの行動選択に対する自信に基づき、しきい値に基づくメカニズムを用いて、LA2における支援要求行動を誘発する。
• 固定された報酬構造と状態表現を採用することで、支援の影響が学習速度と正確性に与える影響を隔離する。
• タスク完了時間や成功確率などの指標を用いて、エピソードごとの学習パフォーマンスを比較する。
• 特に実行機能と不確実性モニタリングの観点から、子供の発達的パターンと照合することで、研究結果の妥当性を検証する。

実験結果

リサーチクエスチョン

• RQ1 支援がエージェントによって要求された場合と通常の方法で提供された場合とで、専門家の支援がQ学習エージェントの学習をどれほど加速するか？
• RQ2 人工エージェントは、協働的問題解決タスクにおいて、子供が支援を受けるのと同じように支援から利益を受けるのか？
• RQ3 強化学習エージェントに単純なしきい値ベースの支援要求メカニズムを導入することで、子供に観察された人間らしい支援要求行動を再現できるか？
• RQ4 支援要求のタイミングと頻度は、人工エージェントの学習効率にどのように影響するか？
• RQ5 支援の提供方法（要求された場合 vs. 通常の方法）が、エージェントの戦略の学習と一般化能力に与える影響はどの程度か？

主な発見

• Q学習エージェントは、支援がエージェントから要求された場合でも、通常の方法で提供された場合でも、同様に支援の恩恵を受ける。これは子供の研究結果とも一致する。
• 自信が低いときに自発的に支援を求めるLA2は、支援を一切要求しないLA1よりも速やかに学習を進めるが、初期段階では支援への過剰依存のため効率が一時的に低下する。
• 支援への依存の初期段階を経て、LA2は探索と独立学習を通じて再び効率を取り戻し、適応的学習行動を示している。
• 通常の支援と要求された支援の構成におけるパフォーマンスの差は最小限であり、支援の提供メカニズムよりも支援そのものの存在が重要であることが示唆される。
• 研究結果は、支援要求行動（たとえ簡略化された形であっても）が、人工エージェントの学習を加速させることを支持しており、これは人間の子供と同様の現象である。
• 今後のエージェントは、固定しきい値に依存するのではなく、より洗練された不確実性モデリングを統合することで、人間らしく支援を求める行動をより良く再現できるようになるべきである。