[论文解读] First-Person Forecasting with Online Inverse Reinforcement Learning

Nicholas Rhinehart, Kris Kitani|arXiv (Cornell University)|Dec 22, 2016

Video Surveillance and Tracking Methods被引用 2

一句话总结

DARKO 提出了一种在线逆强化学习框架，能够从第一人称视觉流中逐步建模并预测长期语义目标和未来状态。通过从流式数据中实时学习奖励函数、转移动态和目标，它在噪声和理想条件下均优于基线方法，在理论和实证上均实现了无遗憾性能。

ABSTRACT

We address the problem of incrementally modeling and forecasting long-term goals of a first-person camera wearer: what the user will do, where they will go, and what goal they are attempting to reach. In contrast to prior work in trajectory forecasting, our algorithm, DARKO, goes further to reason about semantic states (will I pick up an object?), and future goal states that are far both in terms of space and time. DARKO learns and forecasts from first-person visual observations of the user's daily behaviors via an Online Inverse Reinforcement Learning (IRL) approach. Classical IRL discovers only the rewards in a batch setting, whereas DARKO discovers the states, transitions, rewards, and goals of a user from streaming data. Among other results, we show DARKO forecasts goals better than competing methods in both noisy and ideal settings, and our approach is theoretically and empirically no-regret.

研究动机与目标

• 建模并预测第一人称摄像头佩戴者的长期目标，包括未来动作和目的地，超越短期轨迹预测。
• 通过实现从流式视觉观测中增量式、实时学习，解决经典批量逆强化学习的局限性。
• 推理与当前观测在时间和空间上均相距较远的语义状态（例如，“捡起一个物体”）和目标。
• 开发一种在不同数据质量条件下，目标预测在理论上和实证上均无遗憾的方法。
• 相比依赖静态或批量学习奖励模型的现有方法，提升在嘈杂现实环境中的预测鲁棒性。

提出的方法

• DARKO 采用一种在线逆强化学习框架，从第一人称视觉观测流中持续更新奖励函数、动态模型和目标表征。
• 它将代理行为建模为马尔可夫决策过程，使用函数逼近的时序差分学习方法，增量式地学习状态转移和奖励函数。
• 通过聚类观测到的行为并将其与抽象目标状态关联，系统推断高层语义目标，从而实现长时程预测。
• 它采用一种无遗憾学习算法，确保性能随时间推移而提升，且无需事先了解环境或行为分布。
• 该方法结合预训练卷积神经网络提取的视觉特征，将第一人称视频帧编码为状态表征，用于下游的奖励和目标推断。
• DARKO 维护一个可能目标的信念，并通过贝叶斯更新和不确定性感知的奖励建模来优化预测。

实验结果

研究问题

• RQ1 在线逆强化学习系统能否有效从流式第一人称视觉数据中预测语义级目标和未来状态？
• RQ2 在线 IRL 在长时程目标预测任务中的性能与批量 IRL 和监督预测基线相比如何？
• RQ3 所提出方法在现实世界第一人称视频中常见的噪声或不完美观测条件下，其泛化能力如何？
• RQ4 在线学习框架是否在目标预测中实现了理论和实证上的无遗憾性能？
• RQ5 系统能否在无显式监督的情况下，从未标注的低层视觉观测中推断出高层语义目标（例如，“拿起一个杯子”）？

主要发现

• DARKO 在噪声和理想数据设置下均优于竞争方法，表现出对观测不确定性的强鲁棒性。
• 该模型能从未标注的视觉观测中成功推断出语义目标，如“捡起一个物体”，即使目标在时间上远离当前状态。
• DARKO 的在线学习机制可实现对用户行为变化的持续适应，在动态环境中优于批量学习的 IRL 方法。
• 理论分析证实，DARKO 在目标预测中为无遗憾，即其累积遗憾随时间呈次线性增长。
• 实证评估表明，即使用户行为偏离预期模式，该模型仍能保持对未来状态预测的高精度。
• 将视觉特征提取与在线 IRL 相结合，实现了可扩展且可解释的目标预测，且无需人工标注的目标标签。