[論文レビュー] The Thing That We Tried Didn't Work Very Well : Deictic Representation in Reinforcement Learning

Sarah Finney, Natalia H. Gardiol+2 more|arXiv (Cornell University)|Dec 12, 2012

Reinforcement Learning in Robotics参考文献 18被引用数 27

ひとこと要約

この論文は、ブロック・ワールド環境における強化学習において、顕著な対象を基準に行動や状態を定義するデイクティック表現の検討を行う。理論的には一般化の可能性を秘めているが、著者らの実験的分析では、単純な命題的表現に比べて学習性能が劣ることが判明し、オブジェクト中心の領域におけるその有効性に関する仮定に疑問を呈する。

ABSTRACT

Most reinforcement learning methods operate on propositional representations of the world state. Such representations are often intractably large and generalize poorly. Using a deictic representation is believed to be a viable alternative: they promise generalization while allowing the use of existing reinforcement-learning methods. Yet, there are few experiments on learning with deictic representations reported in the literature. In this paper we explore the effectiveness of two forms of deictic representation and a naïve propositional representation in a simple blocks-world domain. We find, empirically, that the deictic representations actually worsen learning performance. We conclude with a discussion of possible causes of these results and strategies for more effective learning in domains with objects.

研究の動機と目的

• オブジェクト中心の環境における強化学習において、デイクティック表現が一般化性と学習効率を向上させるかを評価すること。
• 制御されたブロック・ワールド領域において、デイクティック表現と単純な命題的表現を比較すること。
• 実際の応用において、デイクティック表現がなぜ性能を発揮できないかの要因を同定すること。
• 離散的かつ識別可能なオブジェクトを有する環境における強化学習の表現設計に関する実証的知見を提供すること。

提案手法

• 著者らは、デイクティック表現の2種類の実装を採用した：1つはオブジェクトのインデックスに基づくもの、もう1つは顕著なオブジェクトに対する相対的な空間的関係に基づくもの。
• 命題的表現は、状態を固定された原子的事実の集合（例：「ブロックAはブロックBの上にある」）として符号化する。
• すべての表現に対して、標準的な時系列差分学習アルゴリズムを用いて強化学習を実行する。
• 実験は、タスクの複雑さやオブジェクト数を変化させた単純なブロック・ワールド環境で実施された。
• 学習速度、サンプル効率、および複数のランダムシードにおける最終的なポリシー品質を指標として性能を測定した。
• 公平な比較を確保するため、表現間でハイパーパrameterを固定した。

実験結果

リサーチクエスチョン

• RQ1 ブロック・ワールド領域において、デイクティック表現を用いることで、命題的表現に比べてより速いか、よりサンプル効率の良い学習が達成されるか？
• RQ2 インデックスベースと空間的関係ベースの2種類のデイクティック表現は、学習性能においてどのように比較されるか？
• RQ3 理論的には期待される一般化性にもかかわらず、なぜこの環境ではデイクティック表現が効果的に一般化できないのか？
• RQ4 表現の選択が、学習プロセスの安定性および収束性にどの程度影響を与えるか？

主な発見

• デイクティック表現は、単純な命題的表現に比べて顕著に劣る学習性能を示した。
• インデックスベースのデイクティック表現は空間的関係ベースのバージョンよりもさらに劣った性能を示したが、両者とも命題的ベースラインに劣っていた。
• デイクティック表現の学習曲線は、収束が遅く、実行間でばらつきが大きかった。
• 著者らは、オブジェクトの再インデックス化や顕著性の変化によって、誤った状態の曖昧性が生じることを観察した。
• 失敗の原因は、オブジェクトの順序や動的な顕著性に表現が敏感であることに起因するとされた。これにより、ポリシーの一般化が妨げられた。
• 結果から、オブジェクトのセットが動的に変化するドメインでは、オブジェクト追跡や注目メカニズムを併用しない限り、デイクティック表現は一般化戦略として信頼できない可能性がある。