[論文レビュー] MONET: Multiview Semi-supervised Keypoint via Epipolar Divergence.

Yasamin Jafarian, Yuan Yao+1 more|arXiv (Cornell University)|May 31, 2018

Advanced Vision and Imaging参考文献 38被引用数 12

ひとこと要約

MONET は、未ラベル画像ストリーム上でキーポイント検出器をトレーニングするためにマルチビュー幾何学を活用するエンドツーエンドの半教師あり学習フレームワークである。キーポイント予測の視点間整合性を測る微分可能指標として、エピポール発散（epipolar divergence）を導入し、幾何的制約の違反度を測定する。本手法は、人間、イヌ、サルを含む多様な種にわたり、最小限の人的ラベルデータでカスタマイズされたキーポイントを高精度に局所化できる。

ABSTRACT

This paper presents MONET -- an end-to-end semi-supervised learning framework for a keypoint detector using multiview image streams. In particular, we consider general subjects such as non-human species where attaining a large scale annotated dataset is challenging. While multiview geometry can be used to self-supervise the unlabeled data, integrating the geometry into learning a keypoint detector is challenging due to representation mismatch. We address this mismatch by formulating a new differentiable representation of the epipolar constraint called epipolar divergence---a generalized distance from the epipolar lines to the corresponding keypoint distribution. Epipolar divergence characterizes when two view keypoint distributions produce zero reprojection error. We design a twin network that minimizes the epipolar divergence through stereo rectification that can significantly alleviate computational complexity and sampling aliasing in training. We demonstrate that our framework can localize customized keypoints of diverse species, e.g., humans, dogs, and monkeys.

研究の動機と目的

• 大規模なラベル付きデータセットが不足する非ヒト種においてキーポイント検出器をトレーニングする課題に対処すること。
• マルチビュー幾何学を活用して半教師ありキーポイント学習における自己教師信号を得ること。
• 幾何的制約とキーポイント予測分布の間の表現不一致を解消すること。
• エンドツーエンドのトレーニングを可能にする微分可能で幾何学に配慮した損失関数を設計すること。
• 最小限の人的ラベルデータで、多様な種にわたりカスタマイズされたキーポイントを高精度に局所化できること。

提案手法

• 予測されたキーポイント分布からエピポール線までの距離を測る微分可能な指標としてエピポール発散を提案し、再投影誤差を定量化する。
• 計算複雑度とサンプリングアリスキングを低減するために、ステレオ補正済み画像ペアを処理するツインネットワークアーキテクチャを設計する。
• 明示的なキーポイント対応関係を必要とせず、トレーニング中にエピポール発散を最小化することで、視点間の幾何的整合性を強制する。
• ステレオ補正によりエピポール線を水平線に整列させ、エピポール制約の計算を単純化する。
• エンドツーエンドのトレーニングパイプラインに微分可能なエピポール発散損失を統合し、半教師ありキーポイント検出を実現する。
• 未ラベルデータを用いて、視点間で一貫したキーポイント予測を促進する、コントラスト学習に類似した戦略を採用する。

実験結果

リサーチクエスチョン

• RQ1 エピポール発散は、マルチビュー半教師あり学習におけるキーポイント検出に有効な微分可能教師信号として機能するか？
• RQ2 ステレオ補正の使用は、マルチビューキーポイント学習におけるトレーニング効率を向上させるとともにアリスキングを低減するか？
• RQ3 MONET は、最小限の人的ラベルデータで多様な非ヒト種にわたりカスタマイズされたキーポイントをどの程度正確に局所化できるか？
• RQ4 エピポール発散は、従来の幾何的制約と比較して、トレーニングの安定性と精度の面で優れているか？
• RQ5 本フレームワークは、サルやイヌのように複雑または可変的な体形を示す種にも一般化可能か？

主な発見

• MONET は、人間、イヌ、サルを含む多様な種において、最小限の人的ラベルデータで半教師ありキーポイント検出の最先端性能を達成した。
• エピポール発散の使用により、自己教師信号としての有効性が裏付けられ、未ラベルのマルチビューデータ上でのキーポイント局所化精度が顕著に向上した。
• ステレオ補正により計算複雑度とサンプリングアリスキングが低減され、より安定的で効率的なトレーニングが実現した。
• 本フレームワークは、形状や運動パターンが異なる種にわたり、カスタマイズされたキーポイントを高精度に局所化できた。
• エピポール発散は視点間の幾何的整合性を効果的に捉え、キーポイント分布がエピポール線と一致する場合には再投影誤差がゼロとなった。
• 本手法は、大規模ラベル付けが現実的でない非ヒト種に対しても、強力な一般化性能を示した。