[论文解读] Independently Controllable Features

Emmanuel Bengio, Valentin Thomas+3 more|arXiv (Cornell University)|Mar 22, 2017

Reinforcement Learning in Robotics参考文献 14被引用 38

一句话总结

本文提出一种方法，通过将潜在表征与仅影响单一特征的策略相链接，在交互环境中学习独立可控的特征。利用带有策略选择性损失的自编码器，模型发现了与可控制环境因素相关的解耦且可解释的特征，在具有明确特征-策略对齐的简单网格世界环境中表现出成功。

ABSTRACT

Finding features that disentangle the different causes of variation in real data is a difficult task, that has nonetheless received considerable attention in static domains like natural images. Interactive environments, in which an agent can deliberately take actions, offer an opportunity to tackle this task better, because the agent can experiment with different actions and observe their effects. We introduce the idea that in interactive environments, latent factors that control the variation in observed data can be identified by figuring out what the agent can control. We propose a naive method to find factors that explain or measure the effect of the actions of a learner, and test it in illustrative experiments.

研究动机与目标

• 解决在代理可主动控制世界某些方面的交互环境中学习解耦、可解释表征的挑战。
• 识别对应于环境中物体独立可控属性的潜在变化因素。
• 开发一种训练目标，鼓励特征仅受特定策略的影响，从而增强可解释性和解耦性。
• 探索可控性如何引导表征学习，并可能改善强化学习中的探索。
• 通过将特征与动态、随机场景中物体的特定可控属性关联，解决表征学习中的绑定问题。

提出的方法

• 使用共享编码器 $f$ 和解码器 $g$ 训练自编码器以重建观测，生成维度为 $n$ 的潜在表征 $h = f(x)$。
• 学习 $n$ 个独立策略 $\pi_k$，使得每个策略 $\pi_k$ 仅影响第 $k$ 个特征 $f_k(x)$，而不影响其他特征。
• 定义选择性度量 $\text{sel}(s,a,k)$，通过动作分布之间的KL散度量化在状态 $s$ 下动作 $a$ 仅改变特征 $k$ 的程度。
• 通过损失 $-\pi_k \log \text{sel}_k$ 优化策略 $\pi_k$ 以最大化对特征 $k$ 的选择性，从而鼓励聚焦控制。
• 通过端到端反向传播联合训练自编码器和策略，其中策略选择性损失作为潜在空间的正则化项。
• 使用贪心算法（算法1）迭代改进策略选择和特征响应，确保每个特征仅由一个特定动作响应。

实验结果

研究问题

• RQ1 通过将潜在表征与仅影响单一特征的策略相链接，是否可以在交互环境中发现独立可控的特征？
• RQ2 强制实施策略选择性如何改善所学表征的解耦性和可解释性？
• RQ3 该方法在具有可变物体数量和随机动力学的环境中扩展时面临哪些挑战？
• RQ4 当特征与可控属性关联时，如何解决特征与对象属性之间归属不清的绑定问题？
• RQ5 可控性能否作为强化学习中探索的信号，引导代理与新颖或未知对象互动？

主要发现

• 该方法在简单网格世界环境中成功学习了独立可控的特征，其中每个特征对应于一个特定物体属性，如位置或颜色。
• 每个策略 $\pi_k$ 收敛到一个特定动作，该动作仅选择性地修改其对应的特征 $f_k$，高选择性分数表明对其他特征的干扰极小。
• 在存在冗余动作（例如，两个动作均可将物体向下移动）的情况下，策略能够利用这种冗余，选择任意等效动作而不降低性能。
• 自编码器的潜在空间被塑造为使每个特征 $f_k(s)$ 仅对一个特定动作产生最大响应，表明表征学习到了可控因素的解耦。
• 自编码器与策略选择性联合优化，生成了解耦的表征，其中特征对应于物体的有意义且可控制的属性。
• 该方法提供了一种实用机制，通过将可控性作为归纳偏置嵌入，对表征学习进行正则化，从而在无需显式监督的情况下提升可解释性。