[論文レビュー] Am I a Baller? Basketball Skill Assessment using First-Person Cameras.

Gedas Bertasius, Stella X. Yu+2 more|arXiv (Cornell University)|Nov 16, 2016

Human Pose and Action Recognition参考文献 8被引用数 3

ひとこと要約

本論文では、ラベル付き動画ペアから評価者固有の好みを学習することで、第一人称視点の動画を用いてバスケットボール選手のパフォーマンスを評価する手法を提案する。畳み込みLSTMを用いて原子的イベントを検出するとともに、ガウス・ミクスチャ・モデルを用いて非線形な時空間的特徴を符号化することで、評価者の基準を事前に知らない状態でも、選手の順位を正確に予測可能であり、パフォーマンスに影響を与えるイベントの特定も可能となる。

ABSTRACT

This paper presents a method to assess a basketball player's performance from his/her first-person video. A key challenge lies in the fact that the evaluation metric is highly subjective and specific to a particular evaluator. We leverage the first-person camera to address this challenge. The spatiotemporal visual semantics provided by a first-person view allows us to reason about the camera wearer's actions while he/she is participating in an unscripted basketball game. Our method takes a player's first-person video and provides a player's performance measure that is specific to an evaluator's preference. To achieve this goal, we first use a convolutional LSTM network to detect atomic basketball events from first-person videos. Our network's ability to zoom-in to the salient regions addresses the issue of a severe camera wearer's head movement in first-person videos. The detected atomic events are then passed through the Gaussian mixtures to construct a highly non-linear visual spatiotemporal basketball assessment feature. Finally, we use this feature to learn a basketball assessment model from pairs of labeled first-person basketball videos, for which a basketball expert indicates, which of the two players is better. We demonstrate that despite not knowing the basketball evaluator's criterion, our model learns to accurately assess the players in real-world games. Furthermore, our model can also discover basketball events that contribute positively and negatively to a player's performance.

研究の動機と目的

• 実世界の、脚本のないゲームにおけるバスケットボールパフォーマンス評価の主観的・評価者特有の性質に対処すること。
• 第一人称視点の動画を活用して、選手の試合内での行動と意思決定を反映する時空間的視覚的意味を抽出すること。
• バスケットボール専門家がラベル付けした動画ペアから、個別化されたパフォーマンス評価モデルを学習すること。
• 特定のバスケットボールイベントが、選手の総合スコアにどのように正または負の影響を与えるかを特定すること。

提案手法

• 第一人称視点の動画フレームから原子的バスケットボールイベント（例：ドリブル、シュート、パス）を検出するために畳み込みLSTMネットワークを用いる。
• 空間的アテンション機構を適用して顕著な領域に注目することで、第一人称視点の動画に起因する頭部の動きに起因する歪みを軽減する。
• 検出されたイベントの時間的ダイナミクスをガウス・ミクスチャ・モデルでモデリングし、非線形的かつ高次元の視覚的時空間的特徴を生成する。
• 専門家がどちらの選手が良いかを示すラベルが付与された第一人称動画ペアを用いて、パフォーマンス評価モデルを訓練する。
• 明示的な基準の指定が不要な状態で、評価者の基準と整合する好みに配慮した表現を学習する。
• 訓練されたモデルを用いてパフォーマンススコアを推定し、全体的評価に与えるイベントレベルの寄与度の解釈可能性を提供する。

実験結果

リサーチクエスチョン

• RQ1 評価者の具体的な基準を知らない状態でも、第一人称動画と専門家がラベル付けした比較情報のみを用いて、深層学習モデルがバスケットボールパフォーマンスを正確に評価できるか？
• RQ2 本モデルは、脚本のない第一人称ゲームプレイから、意味のあるバスケットボールイベントをどれほど正確に検出し、局所化できるか？
• RQ3 本モデルは、特定の試合内行動が選手のパフォーマンススコアに正または負の影響を与えるかどうかを、どの程度特定できるか？
• RQ4 本モデルは、カメラの動きが変動する実世界のバスケットボールゲームに一般化できるか？

主な発見

• 評価者の好みの指標を明示的に知らない状態でも、本モデルはペア化された第一人称動画からどちらの選手が良いかを高い正確性で予測できる。
• 顕著なカメラの動きがあるにもかかわらず、本モデルは第一人称動画において原子的バスケットボールイベントを効果的に検出し、局所化できる。
• ガウス・ミクスチャ・モデルに基づく特徴符号化は、パフォーマンス評価に関連する複雑な非線形な時空間的パターンを効果的に捉える。
• 本モデルは、スコアに悪影響を与える特定のイベント（例：ミスしたシュート、悪いパス）を特定でき、解釈可能なフィードバックを提供できる。
• 本手法は、視覚的ノイズや動的なカメラの動きに強く、実世界の、脚本のないゲームに良好に一般化される。
• 本パフォーマンス評価モデルは、ペア比較による弱い教師信号のみから、専門家の判断と整合するように学習する。