[论文解读] Independently Controllable Factors

Valentin Thomas, Jules Pondard+7 more|arXiv (Cornell University)|Aug 3, 2017

Neural Networks and Applications参考文献 6被引用 51

一句话总结

本文提出一个学习目标，联合训练自编码器和策略，以在交互式环境中发现独立可控因素，从而在没有外在奖励的情况下获得解耦的表示。

ABSTRACT

It has been postulated that a good representation is one that disentangles the underlying explanatory factors of variation. However, it remains an open question what kind of training framework could potentially achieve that. Whereas most previous work focuses on the static setting (e.g., with images), we postulate that some of the causal factors could be discovered if the learner is allowed to interact with its environment. The agent can experiment with different actions and observe their effects. More specifically, we hypothesize that some of these factors correspond to aspects of the environment which are independently controllable, i.e., that there exists a policy and a learnable feature for each such aspect of the environment, such that this policy can yield changes in that feature with minimal changes to other features that explain the statistical variations in the observed data. We propose a specific objective function to find such factors and verify experimentally that it can indeed disentangle independently controllable aspects of the environment without any extrinsic reward signal.

研究动机与目标

• 激励表示学习，以在交互式环境中解耦变化的潜在因素。
• 提出一种机制，使某些因素可以被学习到的策略独立控制。
• 提出一个将重建损失与选择性/解耦项结合的目标。
• 证明该方法能够在没有外部奖励的情况下恢复可控因素。

提出的方法

• 用自编码器定义潜在表示，并为每个潜在特征学习一个策略。
• 引入一个选择性目标，衡量一个策略在多大程度上仅改变其相关特征。
• 联合最小化重建损失并最大化选择性以解耦可控因素。
• 通过使用学习得到的嵌入对因素进行索引并使用属性变化选择器，将其扩展到连续嵌入。
• 使用带REINFORCE的策略梯度来优化选择性目标。
• 在 gridworld 和 MazeBase 环境中展示该方法，显示可控因素的解耦。

实验结果

研究问题

• RQ1 是否可以通过联合学习特征和策略来自动发现独立可控的因素？
• RQ2 在最小化重建的同时最大化选择性是否能够在没有外部奖励的情况下实现可控因素的解耦？
• RQ3 如何利用因素的连续嵌入将该方法扩展到更复杂的环境？
• RQ4 学习到的表示能否支持规划或策略推断任务？

主要发现

• 该方法在 gridworld 设置中学习到与可控因素（例如对象位置）对应的潜在特征。
• 通过定向选择性实现解耦，在没有显式监督的情况下恢复真实因素。
• 在 MazeBase 中，连续嵌入方法将对应于潜在因素的变化聚类，使推理具有类似规划的能力。
• 该方法产生一个潜在空间，其中可控因素的变化对应于特征空间中的不同方向，从而能够进行简单的策略推断任务。