[論文レビュー] Exploring Exploration: Comparing Children with RL Agents in Unified Environments

Eliza Kosoy, Jasmine Collins+7 more|arXiv (Cornell University)|May 6, 2020

Reinforcement Learning in Robotics参考文献 37被引用数 7

ひとこと要約

本論文は、制御されたナビゲーションベースの環境において、子どもと強化学習（RL）エージェントの探索行動を直接比較できる統合的プラットフォームとしてDeepMind Labの利用を提案する。実証結果から、子どもはより効率的で目的志向的かつDFSに類似した探索行動を示す一方、RLエージェントは後向きの報酬駆動型戦略に依存していることが明らかになり、現在のRL探索手法における重要なギャップが浮き彫りになる。

ABSTRACT

Research in developmental psychology consistently shows that children explore the world thoroughly and efficiently and that this exploration allows them to learn. In turn, this early learning supports more robust generalization and intelligent behavior later in life. While much work has gone into developing methods for exploration in machine learning, artificial agents have not yet reached the high standard set by their human counterparts. In this work we propose using DeepMind Lab (Beattie et al., 2016) as a platform to directly compare child and agent behaviors and to develop new exploration techniques. We outline two ongoing experiments to demonstrate the effectiveness of a direct comparison, and outline a number of open research questions that we believe can be tested using this methodology.

研究の動機と目的

• 統一された環境で子どもと現在のRLエージェントの行動を直接比較することで、子どもに見られる人間らしい探索行動と現在のRLエージェントとのギャップを埋めること。
• 子どもが示す内的で効率的な探索行動が、強化学習におけるより優れた探索アルゴリズムの設計にどのように寄与できるかを調査すること。
• 報酬構造（疎らかさ vs. 濃いもの）が、子どもおよびRLエージェントの探索行動と一般化能力に与える影響をテストすること。
• 目的志向的探索とランダム探索の観点から、子どもとエージェントの間での探索戦略の定性的・定量的差異を特定すること。
• 発達心理学の知見を応用した、よりサンプル効率的で一般化可能なRLエージェントを設計するための手法論を構築すること。

提案手法

• 子どもとRLエージェントの両者に対して、一貫したシミュレーテッド環境としてDeepMind Labを用い、探索タスクを実施する。
• 2つの制御された実験を設計：1つ目は目的志向的探索を求める迷路ナビゲーション、2つ目は報酬構造の影響（疎らか、濃い、目的なし）を調査する。
• 子どもとエージェントの行動軌跡を記録・分析し、深さ優先探索（DFS）対ランダムウォーク行動などの探索パターンを比較する。
• 到着時間、訪問したユニークな状態数、経路効率といった定量的指標を用いて、条件ごとのパフォーマンスを比較する。
• 精神的モデル推論を用い、子どもが環境の内部表現を用いて効率的な探索を導くかどうかを評価する（多くのRLエージェントとは対照的）。
• 既存のRL探索アルゴリズム（例：好奇心、内部報酬）をエージェントに適用し、同一条件下で子どもとの行動を比較する。

実験結果

リサーチクエスチョン

• RQ1 子どもは、しばしばランダムまたは後向きの探索に依存するRLエージェントと比較して、より効率的で目的志向的な探索（例：DFSに類似）を示すか？
• RQ2 濃い報酬が存在する状況では、子どもは探索行動にどのような影響を受けるか。また、最適経路が遮断された場合に一般化能力にどのような影響があるか？
• RQ3 迷路環境における雑音や無関係な刺激に対して、子どもとRLエージェントはどの程度の感受性を示すか？
• RQ4 子どもは探索から得た情報を統合・記憶し、将来のタスク遂行を支援できるか。その能力はRLエージェントと比べてどうか？
• RQ5 探索中に否定的フィードバックや安全でない状態に直面した場合、子どもとエージェントはそれぞれどのような反応を示し、安全な探索戦略をどのように採用するか？

主な発見

• 実験1において、子どもはDFSに類似した探索行動を示し、目的に向かって体系的に深さ優先で探索していた。これは、内部空間モデルを用いている可能性を示唆する。
• 対照的に、大多数のRLエージェントはこのDFSに類似した行動を再現できず、報酬の新奇性や好奇心に駆られる後向きの探索に依存していた。
• 濃い報酬条件下でも、子どもは疎らかまたは目的なし条件と比較して探索行動を減らしたが、経路が遮断された最終段階でも良好なパフォーマンスを示した。
• 驚くべきことに、濃い報酬条件下での探索行動の減少が、経路遮断時のゴール到達能力に悪影響を及ぼさなかった。これは、過学習への耐性があることを示唆する。
• 予備的な結果から、子どもは多くのRLエージェントが見せるようなローカル最適解にハマったり、濃い報酬に過学習する傾向が低いことが示唆された。
• 研究結果から、子どもは予測的かつ目的志向的な探索を示す一方、RLエージェントは環境フィードバックに対して主に反応的であることが明らかになった。