[論文レビュー] Egocentric Basketball Motion Planning from a Single First-Person Image

Gedas Bertasius, Aaron Chan+1 more|arXiv (Cornell University)|Mar 4, 2018

Human Pose and Action Recognition参考文献 24被引用数 6

ひとこと要約

本論文では、1枚の1人称画像から3Dプレイヤーの位置とヘッドオントロレーションの12次元軌道を予測することで、リアルなエゴセントリックバスケットボール動作シーケンスを生成する、画期的な教師なし深層学習フレームワークを提案する。初期の動作予測には将来の畳み込みニューラルネットワーク（CNN）を用い、その後、ゴール検証器と逆合成最適化を組み合わせてシーケンスを精錬することで、RNN、LSTM、GANと比較して優れたリアリズムとゴールへの整合性を達成した。

ABSTRACT

We present a model that uses a single first-person image to generate an egocentric basketball motion sequence in the form of a 12D camera configuration trajectory, which encodes a player's 3D location and 3D head orientation throughout the sequence. To do this, we first introduce a future convolutional neural network (CNN) that predicts an initial sequence of 12D camera configurations, aiming to capture how real players move during a one-on-one basketball game. We also introduce a goal verifier network, which is trained to verify that a given camera configuration is consistent with the final goals of real one-on-one basketball players. Next, we propose an inverse synthesis procedure to synthesize a refined sequence of 12D camera configurations that (1) sufficiently matches the initial configurations predicted by the future CNN, while (2) maximizing the output of the goal verifier network. Finally, by following the trajectory resulting from the refined camera configuration sequence, we obtain the complete 12D motion sequence. Our model generates realistic basketball motion sequences that capture the goals of real players, outperforming standard deep learning approaches such as recurrent neural networks (RNNs), long short-term memory networks (LSTMs), and generative adversarial networks (GANs).

研究の動機と目的

• 人間の意思決定を、高価なラベル付き行動データに依存せずに、1人称視覚入力のみを用いて1対1のバスケットボールにおいてモデル化すること。
• 実際のプレイヤーの目的（例：ゴールへドライブすることやシュートを打つこと）を反映した妥当なエゴセントリック動作シーケンスを生成すること。
• 教師なしで生の1人称動画データから学習する手法を開発し、行動モデリングへの広範な応用を可能にすること。
• 学習済みのゴール検証ネットワークを用いて目的志向の制約を組み込むことで、動作シーケンスのリアリズムを向上させること。
• 本モデルがバスケットボールを越えて一般化可能であることを示し、ロボット工学やプレーヤーのトレーニングへの応用可能性を示すこと。

提案手法

• 1枚の1人称画像から3Dプレイヤーの位置と3Dヘッドオントロレーションの初期12次元軌道を予測する将来の畳み込みニューラルネットワーク（CNN）を訓練する。
• 実際のバスケットボールプレーヤーの最終的ゴール（例：ゴールを向いていること）と与えられたカメラ設定がどの程度整合するかを評価するためのゴール検証ネットワークを訓練する。
• 初期予測からのずれを最小限に抑えつつ、ゴール検証ネットワークの出力を最大化するように、精錬された12次元軌道を最適化する逆合成手順を実施する。
• 最適化された軌道に従って最終的な動作シーケンスを生成することで、妥当性と目的志向の動作を両立させる。
• 人間による動作ラベルの付与が不要な教師なしのアプローチで、生の1人称動画データのみを用いてエンドツーエンドにモデルを訓練する。
• 生成されたシーケンスを実際の訓練データと比較検証するために、12次元カメラ空間における最近傍探索を用いる。

実験結果

リサーチクエスチョン

• RQ1 人間がラベル付けした行動データを一切使用せずに、1枚の1人称画像からリアルなエゴセントリック動作シーケンスを生成することは可能か？
• RQ2 モデルは、単に動作を予測するのではなく、ゴール（例：ゴールを狙う）志向の行動をどのように学習できるか？
• RQ3 ゴール検証ネットワークが、生成された動作シーケンスのリアリズムとタスクの関連性をどの程度向上できるか？
• RQ4 逆合成手順は、初期の動作予測とゴール整合性の両者をどのようにバランスさせるか？
• RQ5 このフレームワークは、バスケットボールを越えて他のエゴセントリック行動にも一般化可能か？

主な発見

• 定性的および定量的な比較を通じて、標準のRNN、LSTM、GANと比較して、本モデルがよりリアルで目的志向の強い動作シーケンスを生成することが確認された。
• ゴール検証ネットワークの導入により、最終的な動作フレームのリアリズムが顕著に向上し、生成されたシーケンスが壁や床ではなく、次第にゴールに注目する傾向を示した。
• 可視化結果から、モデルが予測する軌道がディフェンダーや他のプレーヤーを避ける傾向があり、実際のプレーヤー行動と一致することが示された。
• 将来のCNNの特徴マップから、ディフェンダーのポジションや空いているコートの領域に注目していることが明らかになり、モデルが関連する意思決定の手がかりを学習していることが示された。
• 最近傍探索により、生成されたシーケンスが訓練データ内の実際のプレーヤーのシーケンスと、意味的および視覚的に類似していることが確認された。
• 動画結果から、生成された動作シーケンスが滑らかで整合性があり、時間的に妥当であり、自然なアクションの遷移を示していることが分かった。