[論文レビュー] Improving Intrinsic Exploration with Language Abstractions

Jesse Mu, Victor W. Zhong+5 more|arXiv (Cornell University)|Feb 17, 2022

Reinforcement Learning in Robotics被引用数 16

ひとこと要約

本論文では、座標に基づくゴールや状態の新規性の代わりに、自然言語で根拠付けられた抽象的概念を用いる言語拡張型内発的探索手法 L-AMIGo と L-NovelD を提案する。自然言語を用いて意味的進行を表現することで、13の MiniGrid および MiniHack タスクにおいて、特に報酬が疎であり、高レベルの推論を必要とする複雑な環境において、探索効率と性能が 47–85% 向上する。

ABSTRACT

Reinforcement learning (RL) agents are particularly hard to train when rewards are sparse. One common solution is to use intrinsic rewards to encourage agents to explore their environment. However, recent intrinsic exploration methods often use state-based novelty measures which reward low-level exploration and may not scale to domains requiring more abstract skills. Instead, we explore natural language as a general medium for highlighting relevant abstractions in an environment. Unlike previous work, we evaluate whether language can improve over existing exploration methods by directly extending (and comparing to) competitive intrinsic exploration baselines: AMIGo (Campero et al., 2021) and NovelD (Zhang et al., 2021). These language-based variants outperform their non-linguistic forms by 47-85% across 13 challenging tasks from the MiniGrid and MiniHack environment suites.

研究の動機と目的

• 状態ベースの新規性測定の限界に対処すること。これは、しばしば表面的または低レベルの行動を報酬とし、意味的な進行を反映しないことがある。
• 言語が、探索を効率的に導く抽象的・高レベルの環境の抽象概念をエンコードするより効果的な媒体であるかどうかを調査すること。
• 標準的な強化学習アルゴリズムとのみの比較ではなく、AMIGo や NovelD といった最近の強力なベースラインと比較して、制御された環境で言語ベースの探索を評価すること。
• 自然言語カリキュラムの導入やトレーニング中の言語的に新しい状態の可視化を可能にすることで、学習プロセスの解釈可能性を向上させること。
• 合成的言語意味論が、抽象的推論を要する複雑な環境における探索性能に与える影響を検討すること。

提案手法

• 座標に基づく教師が提示するゴールを、中間ゴールの自然言語記述に置き換えることで、AMIGo フレームワークを拡張し、L-AMIGo を構築する。
• NovelD の内発的報酬メカニズムを変更し、言語アノテーションの観点から意味的に新規な状態に訪問した場合に追加ボーナスを付与するようにし、L-NovelD を得る。
• 事前学習済み言語モデルを用いて、環境との相互作用中に生成された言語メッセージを埋め込み・比較することで、生の状態差異を越えた意味的新規性検出を可能にする。
• 言語拡張型内発的報酬を用いて MiniGrid および MiniHack 環境でエージェントを学習させ、報酬が疎で長時間のタスクを評価対象とする。
• 外在的報酬とは独立して、タスク完了への進行度を測るための言語的ゴールの難易度指標を導入する。
• トレーニング中に最も言語的に新規なメッセージを可視化・分析し、解釈可能性およびカリキュラム開発の評価を行う。

実験結果

リサーチクエスチョン

• RQ1 報酬が疎な強化学習における状態ベースの新規性測定と比較して、言語の抽象的概念は内発的探索性能を向上させるか？
• RQ2 AMIGo や NovelD といった強力なベースラインと比較して、言語ベースの探索はサンプル効率および最終的な性能においてどう異なるか？
• RQ3 合成的言語意味論は、抽象的推論を要する複雑な環境における探索性能をどの程度向上させるか？
• RQ4 言語アノテーションは、自然言語カリキュラムの導入や新規な意味的状態の可視化を可能にすることで、トレーニングプロセスの解釈可能性を向上させるか？
• RQ5 ノイズが多い、あるいは関係のない中間の言語メッセージが存在する場合でも、効果的な探索が維持されるか、それとも性能が低下するか？

主な発見

• L-AMIGo と L-NovelD は、13の挑戦的で複雑な MiniGrid および MiniHack タスクにおいて、非言語的対応手法を 47–85% 以上上回り、言語ベースの抽象概念による顕著な性能向上を示している。
• 性能向上は、特に状態空間や行動空間が広く、意味的理解が不可欠な抽象的・高レベルのタスク（例：Wand of Death (Hard) や MultiRoom-N4-Extreme）で顕著に現れる。
• 言語ベースの探索は解釈可能性を向上させる。L-AMIGo は意味的ゴールの自然なカリキュラムを構築し、L-NovelD はトレーニング中に最も言語的に新規なメッセージを可視化可能である。
• 合成的言語意味論は、非合成的言語表現とのアブレーションスタディにより、探索性能を顕著に向上させることが示された。
• ノイズが多い、あるいは関係のない中間の言語メッセージが存在しても、言語拡張型手法は強固に高い性能を維持しており、不完全な言語信号に対しても耐性があることが示された。
• 戦略的な環境要因（例：ボトルネック）の活用が求められるタスク（例：Quest (Medium)）では、言語ベースの探索により、状態ベース手法よりも複雑で多段階の行動を効果的に学習できる。