[論文レビュー] Self-Supervised Keypoint Discovery in Behavioral Videos

Jennifer J. Sun, Serim Ryou+7 more|arXiv (Cornell University)|Dec 9, 2021

Human Pose and Action Recognition被引用数 8

ひとこと要約

本論文では、手動アノテーションを一切用いずに行動動画内の意味的に有意義なキーポoinを発見する自己教師あり手法B-KinDを提案する。エンコーダ・デコーダアーキテクチャに幾何的ボトルネックを組み合わせ、連続する動画フレーム間の時空間的差分を再構築することで、モデルは動いているエージェントに注目し、マウス、ハエ、人間、クラゲ、木を含む多様な生物において、キーポイント回帰タスクで最先端の性能を達成するとともに、行動分類タスクでも教師あり手法と同等の結果を示した。

ABSTRACT

We propose a method for learning the posture and structure of agents from unlabelled behavioral videos. Starting from the observation that behaving agents are generally the main sources of movement in behavioral videos, our method, Behavioral Keypoint Discovery (B-KinD), uses an encoder-decoder architecture with a geometric bottleneck to reconstruct the spatiotemporal difference between video frames. By focusing only on regions of movement, our approach works directly on input videos without requiring manual annotations. Experiments on a variety of agent types (mouse, fly, human, jellyfish, and trees) demonstrate the generality of our approach and reveal that our discovered keypoints represent semantically meaningful body parts, which achieve state-of-the-art performance on keypoint regression among self-supervised methods. Additionally, B-KinD achieve comparable performance to supervised keypoints on downstream tasks, such as behavior classification, suggesting that our method can dramatically reduce model training costs vis-a-vis supervised methods.

研究の動機と目的

• 手動アノテーションを必要とせず行動動画におけるキーポイント発見を可能にし、行動解析のトレーニングコストを低減すること。
• 既存の自己教師ありキーポイント手法がボクシングボックスを必要としたり、複数または中心からずれたエージェントでは失敗するという限界を克服すること。
• 行動動画における静止背景の構造的性質を活用して、キーポイントの局所化を改善すること。
• 下流の行動解析タスクにおいて、教師ありキーポイント検出器と同等の性能を達成すること。
• 解釈可能で有用な行動特徴計算に適した意味的意味を持つ低次元表現を生成すること。

提案手法

• 本手法は、時空間的差分を再構築するために幾何的ボトルネックを備えたエンコーダ・デコーダアーキテクチャを用いる。
• 再構築ターゲットは時間的変化に伴う画素強度の差分であり、主に行動するエージェントに注目し、静的背景を抑制する。
• キーポイントはボトルネックの潜在表現から予測され、スコアはヒートマップのピーク値から導出される。
• ボクシングボックスや人手によるキーポイントラベルを一切必要とせず、生動画フレーム上で再構築損失を用いてエンドツーエンドで学習される。
• データオーグメンテーションおよび画像アライメント（ドローンで撮影された木の動画など）が、カメラのドリフトや動きのばらつきに対する耐性を高めるために適用される。
• 外観やオブジェクト固有の特徴ではなく、動きに起因する構造的変化に注目することで、多様な生物に一般化可能である。

実験結果

リサーチクエスチョン

• RQ1 手動アノテーションを一切用いずに、現実の行動動画に自己教師ありキーポイント発見を効果的に適用できるか？
• RQ2 時空間的差分の再構築は、単一フレームの再構築に比べてキーポイント局所化を改善するか？
• RQ3 発見されたキーポイントは、形態的・運動的特性が異なる多様な生物に一般化可能か？
• RQ4 自己教師ありキーポイントの性能は、下流の行動分類およびキーポイント回帰タスクにおいて、教師ありベースラインと比べてどうか？
• RQ5 モデルのヒートマップ予測から得られる信頼度スコアは、隠蔽されたり可視性が低い部位を特定するのに役立つか？

主な発見

• B-KinDは、CalMS21、Fly-vs-Fly、Human 3.6M、Jellyfish、Vegetationsを含むすべてのテストデータセットで、自己教師ありキーポイント回帰において最先端の性能を達成した。
• 本手法は、教師ありキーポイントモデルと同等の行動分類精度を達成し、アノテーションコストを顕著に削減した。
• 発見されたキーポイントは意味的に有意義であり、マウス、ハエ、人間、クラゲにおいて、鼻、背骨、関節、翼端などの解剖学的特徴に一貫して局所化された。
• 信頼度スコアは可視性と相関しており、背景や隠蔽された部位では低く、マウスの鼻のように明確に可視化された部位では高い値を示した。
• モデルは複数エージェント（例：同じフレーム内のハエやマウス）や複雑な運動（木の揺れ、人間の自己隠蔽）に対しても一般化可能であった。
• 限界として、対称的なポーズでは左右が入れ替わる現象や、重度の隠蔽下では精度が低下する傾向が見られたため、3Dマルチビュー拡張によるさらなる改善の余地がある。