[论文解读] InfoBot: Transfer and Exploration via the Information Bottleneck

Anirudh Goyal, Riashat Islam+6 more|arXiv (Cornell University)|Jan 30, 2019

Reinforcement Learning in Robotics参考文献 43被引用 46

一句话总结

InfoBot 使用信息瓶颈对目标条件化策略进行正则化，以发现决策状态，从而在新任务上实现更好的迁移，并提供可迁移的探索奖励，优于标准探索方法。

ABSTRACT

A central challenge in reinforcement learning is discovering effective policies for tasks where rewards are sparsely distributed. We postulate that in the absence of useful reward signals, an effective exploration strategy should seek out {\it decision states}. These states lie at critical junctions in the state space from where the agent can transition to new, potentially unexplored regions. We propose to learn about decision states from prior experience. By training a goal-conditioned policy with an information bottleneck, we can identify decision states by examining where the model actually leverages the goal state. We find that this simple mechanism effectively identifies decision states, even in partially observed settings. In effect, the model learns the sensory cues that correlate with potential subgoals. In new environments, this model can then identify novel subgoals for further exploration, guiding the agent through a sequence of potential decision states and through new regions of the state space.

研究动机与目标

• 通过在多目标强化学习中降低对单个目标的依赖，促进任务结构的学习。
• 识别需要依赖目标决策的决策状态。
• 利用学习到的决策状态，在新环境中提供对迁移友好的探索奖励。
• 在多样、奖励稀疏的任务中促进泛化与高效探索。

提出的方法

• 带有信息瓶颈正则化的目标条件化策略：在最大化期望回报的同时，通过 I(A;G|S) 惩罚对目标的依赖。
• 使用编码器 p_enc(Z|S,G) 与解码器 p_dec(A|S,Z) 进行策略分解，以近似 πθ(A|S,G)。
• 使用变分界来避免不可计算的边际化，得到包含 KL[p_enc(Z|S,G)||q(Z|S)] 的可处理目标。
• 基于策略梯度的在策略更新（REINFORCE），将改进后的回报 r̃t = rt + β KL[p_enc(Z|st,gt)||q(Z|st)] 应用。
• 在 train 任务训练完成后，冻结编码器，将 KL[p_enc(Z|S,G)||q(Z|S)] 作为在 test 任务上训练新策略时的探索奖励，并通过计数项来抑制过度探索。
• 可选：通过将训练任务中的编码器应用到未见但相关的任务来展示迁移。

实验结果

研究问题

• RQ1 目标条件化策略通过信息瓶颈是否可以改善对相关、未见任务的策略迁移？
• RQ2 通过信息瓶颈学习的决策状态能否在新环境中作为有效的、任务定制的探索奖励？
• RQ3 在部分可观测下，正则化目标信息是否促进多目标 RL 的泛化？
• RQ4 InfoBot 的可迁移探索与基于计数、VIME 和基于好奇心的探索方法相比如何？

主要发现

• 目标瓶颈化策略在 MiniGrid 任务上比原始的目标条件化基线具有更好的泛化能力。
• InfoBot 在迁移到更大或更复杂的环境（如 MultiRoom 和 FindObj 任务）时，表现高于标准 RL 方法。
• 将决策状态用作探索奖励在迁移设置下保持高成功率，随着任务复杂度增加，优于基于计数、VIME 和好奇心驱动的方法。
• 在基于目标的 MiniPacMan 中，InfoBot 在 6x6 训练后，在 11x11 迷宫上的成功率达到 64%，超过若干基线。
• 在跨任务中，InfoBot 控制器学习出能泛化的习惯，而偏离（决策状态）捕捉了探索所需的任务特定适应。