[论文解读] Imitation Learning with Recurrent Neural Networks

Khanh Nguyen|arXiv (Cornell University)|Jul 18, 2016

Adversarial Robustness in Machine Learning参考文献 9被引用 4

一句话总结

该论文通过将学习搜索（L2S）表述为RNN训练过程，统一了学习搜索（L2S）与循环神经网络（RNNs），实现了对连续搜索空间表征和鲁棒策略的联合学习。研究表明，调度采样训练等价于在线DAgger，可减少误差累积，并提升序列预测任务中的泛化能力。

ABSTRACT

We present a novel view that unifies two frameworks that aim to solve sequential prediction problems: learning to search (L2S) and recurrent neural networks (RNN). We point out equivalences between elements of the two frameworks. By complementing what is missing from one framework comparing to the other, we introduce a more advanced imitation learning framework that, on one hand, augments L2S s notion of search space and, on the other hand, enhances RNNs training procedure to be more robust to compounding errors arising from training on highly correlated examples.

研究动机与目标

• 通过整合学习搜索（L2S）的原则，解决在高度相关序列数据上训练RNN时的误差累积问题。
• 通过学习搜索空间的连续自适应表征，克服L2S中静态手工设计特征的局限性。
• 通过学习到的向量空间几何结构，使模型能够基于相似的已见状态近似未见状态，从而提升模仿学习的泛化能力。
• 通过使训练期间隐藏状态的分布与策略自身诱导的分布对齐，增强RNN训练的鲁棒性。
• 通过证明调度采样训练等价于在线DAgger，统一L2S与RNN框架，为RNN训练提供新视角。

提出的方法

• 将L2S框架重新表述为RNN动力学，其中每个隐藏状态代表在搜索空间中采取的动作路径。
• 将搜索状态定义为通过反向传播学习得到的连续向量表征，替代静态的手工设计特征。
• 采用混合训练策略，即在每个时间步，模型随机选择使用真实标签或预测标签来计算隐藏状态。
• 随时间逐渐降低使用真实标签的概率，确保模型在自身策略诱导的状态分布上进行训练。
• 使用在线滚动过程中收集的（隐藏状态，真实标签）对数据集，通过小批量反向传播训练RNN。
• 通过端到端反向传播，联合优化搜索空间表征与策略，使模型能够为更好决策而调整状态空间。

实验结果

研究问题

• RQ1 L2S中的搜索空间能否被重新解释为RNN框架中可学习的连续表征？
• RQ2 RNN中的调度采样训练与L2S框架中的在线DAgger有何关联？
• RQ3 联合学习的连续搜索空间表征能否减少状态稀疏性，并提升模仿学习中的泛化能力？
• RQ4 与标准监督训练相比，使用基于策略的状态分布训练RNN是否能减轻误差累积？
• RQ5 在学习到的状态空间中，几何相似性是否能使模型通过利用相似的已见状态，泛化到未见状态？

主要发现

• 所提出的方法（等价于调度采样）通过在模型自身策略生成的状态上进行训练，减少了RNN中的误差累积。
• 联合学习搜索空间表征与策略，使模型能够以更有利于决策的方式排列状态。
• 连续学习表征在捕捉状态相似性方面优于静态手工设计特征，从而提升了对未见状态的泛化能力。
• 该方法实现了误差累积随轨迹长度线性增长，与独立同分布（i.i.d.）数据上监督学习的理论性能一致。
• L2S的RNN表述为搜索空间提供了几何解释，可通过余弦相似度等向量距离实现相似性度量。
• 实验结果表明，在图像字幕生成、句法分析和语音识别等序列到序列任务中，该方法相比标准RNN训练取得了更优性能。