[論文レビュー] Disentangling the independently controllable factors of variation by interacting with the world

Valentin Thomas, Emmanuel Bengio+7 more|arXiv (Cornell University)|Feb 26, 2018

Neural Networks and Applications参考文献 14被引用数 45

ひとこと要約

この論文は、外部報酬なしで環境と相互作用することにより、潜在的因子に結びついた学習方策を通じて、独立に制御可能な変動要因を発見・分離できる選択性目的を導入します。

ABSTRACT

It has been postulated that a good representation is one that disentangles the underlying explanatory factors of variation. However, it remains an open question what kind of training framework could potentially achieve that. Whereas most previous work focuses on the static setting (e.g., with images), we postulate that some of the causal factors could be discovered if the learner is allowed to interact with its environment. The agent can experiment with different actions and observe their effects. More specifically, we hypothesize that some of these factors correspond to aspects of the environment which are independently controllable, i.e., that there exists a policy and a learnable feature for each such aspect of the environment, such that this policy can yield changes in that feature with minimal changes to other features that explain the statistical variations in the observed data. We propose a specific objective function to find such factors, and verify experimentally that it can indeed disentangle independently controllable aspects of the environment without any extrinsic reward signal.

研究の動機と目的

• RLおよびRLベースのモデリングのために、変動の基となる要因を分離する表現の必要性を動機づける。
• 相互作用ベースの教師なし目的を提案し、独立して制御可能な環境要因を同定する。
• 環境の各要因が制御可能な側面に対応する潜在空間の学習を可能にする。
• 外部報酬なしで潜在空間におけるモデルベース予測をサポートできることを実証する。

提案手法

• 制御可能因子phiを、Phi(h,z)を介してhとノイズzの埋め込みとして定義し、対応する変動を実現することを目的とした方策pi_phiに各phiを対応付ける。
• 観測状態変化(h' - h)と因子phiとの整合を報酬する選択性目的S(h, phi)を導入する。
• 変分表現を用いて選択性を相互情報量I(phi; h' | h)の下限へ結びつけ、潜在空間の因果性に目的を固定する。
• 観測を潜在状態hへ写像するエンコーダf、phiの生成器Phi(h,z)、およびpi_phiを、選択性ベースの報酬と任意のオートエンコーダ損失を用いたポリシー勾配で学習する。
• 短期予測を正確にするために潜在空間にモデルベースの損失を任意的に含める: L_MB = ||h_{t+3} - T_theta(h_t, phi)||^2。

実験結果

リサーチクエスチョン

• RQ1 世界と相互作用することで、独立して制御可能な変動因子を見つけ出すことができますか？
• RQ2 外部報酬なしで、選択性ベースの目的が潜在表現の分離をどのように促進するか？
• RQ3 学習された潜在因子は、潜在空間モデルベースの将来状態の予測をどの程度サポートできるか？

主な発見

• この手法はMazeBase環境におけるエージェントの±xおよび±yの位置に対応する4つの指向的な変動因子を分離する。
• latent representations encode recoverable spatial coordinates (agent x and y) from f(s) after training with both reconstruction and selectivity losses.
• The approach enables multistep latent-space predictions, showing that latent-space models can predict future latent states and be decoded back to observeable space.
• The framework demonstrates that planning and policy inference can be conducted in latent space, illustrating potential for easier optimization in a reduced space.
• The authors report instability and mode-collapse tendencies, indicating the independence prior can be strict and challenging to optimize, with several hyperparameters and training instabilities needing careful tuning.