[论文解读] Inferring The Latent Structure of Human Decision-Making from Raw Visual Inputs

Yunzhu Li, Jiaming Song+1 more|arXiv (Cornell University)|Jan 1, 2017

Adversarial Robustness in Machine Learning被引用 1

一句话总结

该论文提出了一种基于GAIL的方法，无需强化信号即可从原始视觉输入中推断潜在决策结构，从而实现对多样化人类行为的可解释性模仿。该方法通过学习解耦的驾驶风格并预测人类行为，在高速公路驾驶等高维环境中实现了卓越性能。

ABSTRACT

The goal of imitation learning is to match example expert behavior, without access to a reinforcement signal. Expert demonstrations provided by humans, however, often show significant variability due to latent factors that are not explicitly modeled. We introduce an extension to the Generative Adversarial Imitation Learning method that can infer the latent structure of human decision-making in an unsupervised way. Our method can not only imitate complex behaviors, but also learn interpretable and meaningful representations. We demonstrate that the approach is applicable to high-dimensional environments including raw visual inputs. In the highway driving domain, we show that a model learned from demonstrations is able to both produce different driving styles and accurately anticipate human actions. Our method surpasses various baselines in terms of performance and functionality.

研究动机与目标

• 解决模仿学习中因未建模的潜在因素导致的专家演示可变性问题。
• 实现人类决策可解释且有意义的表征的无监督发现。
• 将生成对抗模仿学习（GAIL）扩展至直接在高维环境的原始视觉输入上运行。
• 学习反映不同驾驶风格的多样化行为策略，同时准确预测人类行为。

提出的方法

• 通过变分推理框架扩展GAIL，联合优化策略并从专家演示中推断潜在变量。
• 使用条件生成器建模基于推断潜在因子的行为策略，从而实现多样化行为生成。
• 采用判别器区分专家轨迹与生成轨迹，输入为原始像素观测。
• 采用类似变分自编码器（VAE）的结构，无监督地从视觉输入中解耦潜在因子。
• 通过对抗性模仿损失和KL正则化，端到端训练策略与潜在推理网络。
• 以原始视觉观测作为输入，避免人工设计的状态表征。

实验结果

研究问题

• RQ1 能否在无显式监督的情况下，从未处理的视觉输入中推断出人类决策的潜在因子？
• RQ2 推断出的潜在结构能否在模仿学习中生成可解释且多样化的行为策略？
• RQ3 该方法在高速公路驾驶等高维视觉环境中的泛化能力如何？
• RQ4 仅使用专家演示时，该模型是否能比基线方法更准确地预测人类行为？

主要发现

• 模型成功从未处理的视觉输入中推断出解耦且可解释的潜在因子，实现了多样化的驾驶风格。
• 在高速公路驾驶环境的模仿学习任务中，该方法性能优于多个基线模型。
• 通过利用专家行为中的潜在结构，模型在行为预测方面表现出更优的性能。
• 该方法在无需工程化状态表征的情况下，能有效泛化至高维视觉输入。