[论文解读] Egocentric Basketball Motion Planning from a Single First-Person Image

Gedas Bertasius, Aaron Chan+1 more|arXiv (Cornell University)|Mar 4, 2018

Human Pose and Action Recognition参考文献 24被引用 6

一句话总结

本文提出了一种新颖的无监督深度学习框架，仅通过单张第一人称图像即可生成逼真的第一视角篮球运动序列，方法是预测12维的3D球员位置与头部朝向轨迹。该框架结合了未来卷积神经网络进行初始运动预测，以及目标验证器和逆向合成优化，以改进序列质量，相比RNN、LSTM和GAN，实现了更高的逼真度与目标一致性。

ABSTRACT

We present a model that uses a single first-person image to generate an egocentric basketball motion sequence in the form of a 12D camera configuration trajectory, which encodes a player's 3D location and 3D head orientation throughout the sequence. To do this, we first introduce a future convolutional neural network (CNN) that predicts an initial sequence of 12D camera configurations, aiming to capture how real players move during a one-on-one basketball game. We also introduce a goal verifier network, which is trained to verify that a given camera configuration is consistent with the final goals of real one-on-one basketball players. Next, we propose an inverse synthesis procedure to synthesize a refined sequence of 12D camera configurations that (1) sufficiently matches the initial configurations predicted by the future CNN, while (2) maximizing the output of the goal verifier network. Finally, by following the trajectory resulting from the refined camera configuration sequence, we obtain the complete 12D motion sequence. Our model generates realistic basketball motion sequences that capture the goals of real players, outperforming standard deep learning approaches such as recurrent neural networks (RNNs), long short-term memory networks (LSTMs), and generative adversarial networks (GANs).

研究动机与目标

• 仅使用第一人称视觉输入，不依赖昂贵的标注行为数据，建模一对一篮球中的人类决策过程。
• 生成符合真实球员目标（如突破上篮或投篮）的合理第一视角运动序列。
• 开发一种方法，通过无监督方式从原始第一人称视频数据中学习，从而拓展其在行为建模中的应用范围。
• 通过学习到的目标验证器网络引入目标导向约束，提升运动序列的逼真度。
• 证明该模型可泛化至篮球之外的其他第一视角行为，具有在机器人学与球员训练中的潜在应用价值。

提出的方法

• 训练一个未来卷积神经网络（CNN），从单张第一人称图像中预测初始的12维轨迹（包含3D球员位置与3D头部朝向）。
• 训练一个目标验证器网络，用于评估给定相机配置与真实篮球球员最终目标（如注视篮筐）的一致性得分。
• 通过逆向合成过程优化精炼后的12维轨迹，目标是在最小化与初始预测偏差的同时，最大化目标验证器的输出。
• 通过遵循优化后的轨迹生成最终的运动序列，确保其既合理又具有目标导向性。
• 采用端到端无监督方式，仅使用第一人称视频数据进行训练，避免对人工标注运动标签的依赖。
• 在12维相机空间中使用最近邻检索，将生成序列与真实训练数据进行验证。

实验结果

研究问题

• RQ1 能否仅通过单张第一人称图像，在无需人工标注行为数据的情况下，生成逼真的第一视角篮球运动序列？
• RQ2 模型如何学习不仅预测运动，还能预测目标导向行为（如瞄准篮筐）？
• RQ3 目标验证器网络在多大程度上能提升生成运动序列的逼真度与任务相关性？
• RQ4 逆向合成过程如何在初始运动预测与目标一致性之间实现平衡？
• RQ5 该框架能否泛化至篮球之外的其他第一视角行为？

主要发现

• 经定性与定量比较验证，所提模型生成的运动序列在逼真度与目标导向性方面均优于标准RNN、LSTM与GAN。
• 引入目标验证器网络显著提升了最终运动帧的逼真度，生成序列逐渐聚焦于篮筐，而非墙壁或地面。
• 可视化结果表明，模型预测的轨迹能避开防守球员并朝向篮筐汇聚，反映出真实球员的行为模式。
• 未来CNN的特征图显示出对防守球员姿态与空旷球场区域的关注，表明模型已学习到相关决策线索。
• 最近邻检索结果证实，生成序列在语义与视觉上与训练数据中的真实球员序列高度相似。
• 视频结果表明，生成的运动序列平滑、连贯且时间上合理，动作之间的过渡自然。