[論文レビュー] Independently Controllable Features

Emmanuel Bengio, Valentin Thomas+3 more|arXiv (Cornell University)|Mar 22, 2017

Reinforcement Learning in Robotics参考文献 14被引用数 38

ひとこと要約

本稿では、1つの特徴にのみ影響するように設計された方策に、潜在表現を関連付けることで、インタラクティブな環境において独立して制御可能な特徴を学習する手法を提案する。自己符号化器に方策選択性損失を適用することで、制御可能な環境要因に関連する分離可能で解釈可能な特徴をモデルが発見し、明確な特徴—方策の一致を示す単純なグリッドワールド環境で成功を収めた。

ABSTRACT

Finding features that disentangle the different causes of variation in real data is a difficult task, that has nonetheless received considerable attention in static domains like natural images. Interactive environments, in which an agent can deliberately take actions, offer an opportunity to tackle this task better, because the agent can experiment with different actions and observe their effects. We introduce the idea that in interactive environments, latent factors that control the variation in observed data can be identified by figuring out what the agent can control. We propose a naive method to find factors that explain or measure the effect of the actions of a learner, and test it in illustrative experiments.

研究の動機と目的

• エージェントが世界の側面を能動的に制御できるインタラクティブな環境において、分離可能で解釈可能な表現を学ぶという課題に対処すること。
• 環境内の物体の独立して制御可能な属性に対応する変動要因となる潜在的要因を同定すること。
• 特定の方策によってのみ影響を受けるように特徴を学習させる訓練目的を構築することにより、解釈可能性と分離性を向上させること。
• 制御可能性が表現学習をどのように導くかを探索し、強化学習における探索を改善する可能性を検討すること。
• 動的で確率的なシーンにおいて、特徴を特定の制御可能な物体属性に関連付けることで、表現学習におけるバインディング問題に対処すること。

提案手法

• 観測値を再構築するように、共有エンコーダ $f$ とデコーダ $g$ を持つ自己符号化器を訓練し、次元 $n$ の潜在表現 $h = f(x)$ を生成する。
• 各特徴 $f_k(x)$ にのみ影響を与えるように、$n$ 個の別個の方策 $\pi_k$ を学習する。
• 状態 $s$ における行動 $a$ が、特徴 $k$ のみに影響する程度を測る選択性指標 $\text{sel}(s,a,k)$ を定義する。行動分布間のKLダイバージェンスを用いる。
• 方策 $\pi_k$ を、特徴 $k$ に対する選択性を最大化するように最適化し、損失 $-\pi_k \log \text{sel}_k$ を用いて、集中した制御を促進する。
• 自己符号化器と方策を、エンドツーエンドのバックプロパゲーションにより同時に訓練し、方策選択性損失を潜在空間に正則化として作用させる。
• グリーディアルゴリズム（アルゴリズム1）を用いて、方策選択性と特徴応答を段階的に改善し、各特徴が一意な行動に反応するように保証する。

実験結果

リサーチクエスチョン

• RQ1 1つの特徴にのみ影響するように設計された方策に潜在表現を関連付けることで、インタラクティブな環境において独立して制御可能な特徴を発見できるか？
• RQ2 方策選択性を強制することで、学習された表現の分離性と解釈可能性はどのように向上するか？
• RQ3 変動するオブジェクト数や確率的ダイナミクスを有する環境へのスケーリングにおける課題は何か？
• RQ4 特徴が制御可能な性質に結びつけられている場合、どの属性がどのオブジェクトに属するかを区別する「バインディング問題」はどのように解決できるか？
• RQ5 制御可能性が強化学習における探索のシグナルとして機能できるか？特に、未知または新しいオブジェクトと相互作用するのを支援できるか？

主な発見

• 本手法は、単純なグリッドワールド環境において、独立して制御可能な特徴を成功裏に学習した。各特徴は、位置や色といった明確な物体属性に対応している。
• 各々の方策 $\pi_k$ は、その対応する特徴 $f_k$ のみに影響する特定の行動に収束し、高い選択性スコアにより他の特徴への干渉が最小限であることが示された。
• 冗長な行動（例えば、同じオブジェクトを下に動かす2つの行動）が存在する場合、方策はその冗長性を活用し、同等の行動のいずれかを選び、性能の低下を防いだ。
• 自己符号化器の潜在空間において、各特徴 $f_k(s)$ が特定の1つの行動に最大応答を示すように構造化されており、表現が制御可能な要因を分離していることが実証された。
• 自己符号化器と方策選択性の共同最適化により、物体の意味的で制御可能な性質に対応する分離された表現が得られた。
• 制御可能性をインダクティブバイアスとして埋め込むことで、明示的な教師信号を必要とせずに、表現学習を正則化する実用的なメカニズムを提供した。