[論文レビュー] Multiview Supervision By Registration

Yilun Zhang, Hyun Soo Park|arXiv (Cornell University)|Nov 27, 2018

Video Surveillance and Tracking Methods参考文献 36被引用数 6

ひとこと要約

本論文は、マルチビュー幾何と時間的トラッキングを活用して、最小限のラベル付きデータ（4%未満）で高精度なキーポイント検出器を訓練する、画期的な半教師ありキーポイント検出フレームワークを提案する。クロスビューのエピポーラ制約、光流に基づく時間的自己教師信号、複数の視点間での可視性の一貫性を統合することで、3つのパスウェイを持つ微分可能でエンドツーエンドのネットワークを用い、ネズミ、サル、イヌなどの非ヒト種において検出精度を顕著に向上させた。これは、事前学習を必要とせず、従来の半教師あり手法や事前学習なしのDeepLabCutを上回る性能を発揮した。

ABSTRACT

This paper presents a semi-supervised learning framework to train a keypoint detector using multiview image streams given the limited labeled data (typically $

研究の動機と目的

• 限られたラベル付きデータ（4%未満）と高いポーズ変動を伴う非ヒト動物のための高精度なキーポイント検出器を訓練する課題に対処すること。
• 3D再構成や事前学習モデルを必要とせず、マルチビュー画像ストリームを用いて自己教師信号を提供すること。
• 自由に行動する動物の行動における自己遮蔽や大きなポーズ変動に対して、より頑健な性能を発揮すること。
• 幾何的・時間的整合性を複数の視点とフレーム間で統合した、柔軟でエンドツーエンドの深層学習フレームワークの開発

提案手法

• キーポイント検出、可視性予測、複数視点間の幾何的一致性を同時に最適化するマルチパスウェイニューラルネットワークアーキテクチャを採用する。
• エピポーラ幾何を用いてクロスビューの自己教師信号を強制し、1つの視点で検出されたキーポイントが、他の視点の対応点からのエピポーラ線上に位置することを保証する。
• 時間的自己教師信号として光流を用い、連続するフレーム間のキーポイント予測を一致させることで、時間的な滑らかさを強制する。
• カメラ間の空間的近接性を活用して可視性マップを視点間で伝搬させ、遮蔽時における誤検出を低減する可視性自己教師信号を提供する。
• 4つの微分可能な損失関数を統合する：ラベル損失（ラベル付きデータ用）、クロスビュー損失（エピポーラ一貫性）、トラッキング損失（光流による一致）、可視性損失（空間的一貫性）。
• ネットワークに依存しない設計であり、DeepLabCut や Hourglass などの確率マップを出力する任意のキーポイント検出ネットワークと統合可能である。

実験結果

リサーチクエスチョン

• RQ1 3D再構成を必要とせず、マルチビュー幾何を用いてキーポイント検出に有効な自己教師信号を提供できるか？
• RQ2 光流を用いた時間的一致性は、動きや遮蔽が生じる状況下でキーポイント検出性能をどのように向上させるか？
• RQ3 隣接する視点からの可視性マップを予測することで、自己遮蔽時の検出の頑健性が向上するか？
• RQ4 クロスビュー、時間的、可視性の自己教師信号を統合することで、単一の信号のみを用いる場合よりも性能が向上するか？
• RQ5 本フレームワークは、限られたラベル付きデータと高いポーズ変動を伴う非ヒト種に対しても汎用性を示せるか？

主な発見

• 提案手法は、Humanデータセットで95.1%のPCKhを達成し、Dogデータセットで94.8%のAUCを記録。時間的自己教師信号のみを用いた場合に比べてAUCで3.4%向上、クロスビュー自己教師信号のみの場合に比べて16.4%向上した。
• 可視性自己教師信号は、Humanデータセットで時間的自己教師信号を1.8%向上、Dogデータセットで2.65%向上させた。
• データ拡張により、Humanデータセットでクロスビュー自己教師信号が16.6%向上、Dogデータセットで13.9%向上した。
• 高いポーズ変動を伴うサルデータセットでは、10フレームのラベル付きデータでの学習でもDeepLabCutを15%上回り、顕著な外挿能を示した。
• 未観測の被験者に対しても良好な汎用性を示した：Dance 2（Panoptic Studio）およびGreeting（Human3.6M）において、異なる動きのシーケンスで学習した場合でも高い性能を維持した。
• アブレーションスタディの結果、クロスビュー、時間的、可視性、ブートストラップ自己教師信号の全組み合わせが最良の性能を発揮し、各コンポonentが精度向上に顕著な寄与を示した。