[論文レビュー] NovGrid: A Flexible Grid World for Evaluating Agent Response to Novelty

Jonathan Balloch, Zhiyu Lin+6 more|arXiv (Cornell University)|Mar 23, 2022

Reinforcement Learning in Robotics被引用数 5

ひとこと要約

NovGrid は MiniGrid に基づいて構築された柔軟なグリッドワールド環境であり、世界のメカニズムに動的変更を注入することで強化学習エージェントの新奇性への反応を体系的に評価することを可能にする。このフレームワークは新奇性の構造的オントロジーを導入し、カスタマイズ可能な新奇性テンプレートをサポートし、標準的な PPO エージェントが適応に劣っていることを示す指標を提供する。これにより、改善された新奇性適応技術の必要性が浮き彫りになる。

ABSTRACT

A robust body of reinforcement learning techniques have been developed to solve complex sequential decision making problems. However, these methods assume that train and evaluation tasks come from similarly or identically distributed environments. This assumption does not hold in real life where small novel changes to the environment can make a previously learned policy fail or introduce simpler solutions that might never be found. To that end we explore the concept of {\em novelty}, defined in this work as the sudden change to the mechanics or properties of environment. We provide an ontology of for novelties most relevant to sequential decision making, which distinguishes between novelties that affect objects versus actions, unary properties versus non-unary relations, and the distribution of solutions to a task. We introduce NovGrid, a novelty generation framework built on MiniGrid, acting as a toolkit for rapidly developing and evaluating novelty-adaptation-enabled reinforcement learning techniques. Along with the core NovGrid we provide exemplar novelties aligned with our ontology and instantiate them as novelty templates that can be applied to many MiniGrid-compliant environments. Finally, we present a set of metrics built into our framework for the evaluation of novelty-adaptation-enabled machine-learning techniques, and show characteristics of a baseline RL model using these metrics.

研究の動機と目的

• 訓練環境とテスト環境が新奇性によって異なる場合にエージェントが失敗するという強化学習における重要なギャップを解決する。
• 逐次意思決定における新奇性の体系的オントロジーを構築し、オブジェクトとアクションの新奇性、一項性対非一項性の性質、および解決策の分布シフトを区別する。
• 訓練中に多様な新奇性を動的にインジェクションできるように設計された、MiniGrid のモジュラー拡張である NovGrid を開発する。
• 適応効率、漸近的性能、ワンショット適応を含む、新奇性適応パフォーマンスを評価する包括的な指標セットを設計・統合する。
• PPO ベースラインの評価を通じてフレームワークの有効性を実証し、明示的な新奇性対応メカニズムがなければ適応に著しい制限が生じることを示す。

提案手法

• 逐次意思決定における環境的新奇性の新規オントロジーを定義し、タイプ（オブジェクト対アクション）、性質構造（一項対非一項）、およびタスク解決への影響（妨害対促進）によって分類する。
• 環境ラッパーを構成可能な形で拡張し、一般化された新奇性ジェネレータを導入することで、実行時におけるオブジェクト行動の変更（例：鍵の種類の変更、ドアメカニズムの変更）を可能にする。
• オントロジーに整合する例示的新奇性のセットを実装し、例えば「DoorKeyChange」のように、鍵の機能が黄色から青に変化するなど、突然のメカニズム変更をシミュレートする。
• 開発者が指定されたタイミングでカスタム新奇性テンプレートを定義・インジェクションできるモジュラー枠組みを設計し、再現可能でスケーラブルな実験を可能にする。
• NovGrid に適応効率（パフォーマンス回復までの時間）、漸近的適応性能（適応後の最終報酬）、回復率を含む一連の評価指標を統合する。
• 標準的な強化学習エージェント（例：PPO）を、制御された新奇性インジェクションのもとで評価し、パフォーマンス低下と回復ダイナミクスを測定する。

実験結果

リサーチクエスチョン

• RQ1 特にオブジェクトメカニズムやアクションの結果を変える新奇性が、エージェントのタスクパフォーマンスの維持または回復能力にどのように影響するか。
• RQ2 PPO などの標準的な深層強化学習エージェントが、明示的な新奇性対応設計なしに、突然の未知の環境ダイナミクスの変化にどの程度適応できるか。
• RQ3 適応効率や漸近的性能といった指標が、新奇性へのエージェントのレジリエンスと学習速度をどのように定量化するか。
• RQ4 NovGrid のような標準的で拡張可能なフレームワークは、多様な環境における新奇性適応技術の体系的ベンチマークと比較を可能にするか。
• RQ5 解決策の分布シフト（例：より単純な経路の出現）は新奇性適応にどのような役割を果たし、どのようにモデル化・測定できるか。

主な発見

• PPO ベースラインエージェントは新奇性適応が著しく劣っており、新奇性インジェクション後約 300,000 ステップで報酬 0.8 にのみ収束する。
• 適応効率が低く、標準的なRLエージェントは、根本的なタスクが同じであっても、環境変更からの回復に膨大な追加訓練を要することが示された。
• フレームワークは、突然の鍵機能変更（例：黄色の鍵から青の鍵に）が顕著なパフォーマンス低下を引き起こすことを成功裏に示し、このような新奇性の現実世界での関連性を裏付けた。
• ベースラインエージェントに回復メカニズムが欠如していることは、現在のRL手法における深刻な限界を示しており、新奇性適応機能を内蔵した新規アルゴリズムの必要性を強調する。
• フレームワークの指標は、新奇性インジェクション直後にパフォーマンス低下が即座に発生し、回復が遅いことを明らかにした。これは、標準的な探索と学習ダイナミクスが、強靭な適応には不十分であることを示唆する。
• 結果から、今後の研究は、ワンショット適応の向上、より速い収束、および新奇性下での高い漸近的パフォーマンスの向上、特に動的で現実世界に近い設定において重点を置くべきであると示唆される。