[論文レビュー] Motion Segmentation by Exploiting Complementary Geometric Models

Xun Xu, Loong‐Fah Cheong+1 more|arXiv (Cornell University)|Apr 6, 2018

Advanced Vision and Imaging参考文献 29被引用数 6

ひとこと要約

本稿では、強い透視効果とほぼ退化した運動を示す現実世界のシーンにおける動き分離を向上させるために、基本行列モデルと同型変換モデルを包括的に組み合わせるマルチビュー分光クラスタリングフレームワークを提案する。共正則化を用いて補完的な幾何モデルを統合することで、ベンチマークデータセット上で最先端の性能を達成するとともに、困難な条件下での頑健性を評価するための新しい現実世界のデータセットKT3DMoSegを提案する。

ABSTRACT

Many real-world sequences cannot be conveniently categorized as general or degenerate; in such cases, imposing a false dichotomy in using the fundamental matrix or homography model for motion segmentation would lead to difficulty. Even when we are confronted with a general scene-motion, the fundamental matrix approach as a model for motion segmentation still suffers from several defects, which we discuss in this paper. The full potential of the fundamental matrix approach could only be realized if we judiciously harness information from the simpler homography model. From these considerations, we propose a multi-view spectral clustering framework that synergistically combines multiple models together. We show that the performance can be substantially improved in this way. We perform extensive testing on existing motion segmentation datasets, achieving state-of-the-art performance on all of them; we also put forth a more realistic and challenging dataset adapted from the KITTI benchmark, containing real-world effects such as strong perspectives and strong forward translations not seen in the traditional datasets.

研究の動機と目的

• 強い透視効果とほぼ退化した運動を示す現実世界のシーンにおける動き分離において、基本行列モデルや同型変換モデルのみを用いることの限界を解消すること。
• 広角視野のシーンにおいて幾何的正確性に欠けるにもかかわらず、同型変換ベースの手法がなぜ基本行列ベースの手法を上回る性能を示すのかを調査すること。
• 複数の幾何モデルを包括的に組み合わせることで、部分空間クラスタリング性能を向上させる統合フレームワークを開発すること。
• 現実世界の動き分離の課題を反映した、新しいリアルなベンチマークデータセット（KT3DMoSeg）を構築すること。
• 基本行列モデルの潜在的性能は、同型変換などの補完的モデルと組み合わせることによってのみ、現実世界のシーンで十分に発揮可能であることを示すこと。

提案手法

• 本手法は、複数の幾何モデル（基本行列F、同型変換H、アフィン変換A）から得られる類似度行列を生成するマルチビュー分光クラスタリングフレームワークを採用する。
• 共正則化を用いてこれらの視点（F-ビュー、H-ビュー、A-ビュー）の分光埋め込みを統合し、補完的な情報を活用することでクラスタリング品質を向上させる。
• 同型変換仮説を用いて仮想的な平面スライスを導入することで、物理的には存在しないが剛体的に移動する表面間の接続性を向上させ、過剰なクラスタ分割を低減する。
• 統合プロセスでは、正則化パラメータλとγを用いて個々の視点（F-ビュー、H-ビュー、A-ビュー）を修正することで、単一モデル手法の固有の欠陥を是正する。
• 最終的なクラスタリングは、共正則化された埋め込みに対してk-meansを適用することで実施され、標準ベンチマークおよび新規のKT3DMoSegデータセットの両方で性能を評価する。
• 本手法は、Hopkins155、Hopkins12、MTPV62、および新たに提案されたKT3DMoSegデータセットで評価され、シーケンスごとの定量的誤差解析が実施されている。

実験結果

リサーチクエスチョン

• RQ1 なぜ同型変換ベースの手法は、透視効果のあるシーンにおいて幾何的正確性に欠けるにもかかわらず、Hopkins155で最先端の性能を達成するのか？
• RQ2 退化の要因を超えて、なぜ基本行列モデルの性能が動き分離において制限を受けるのか？
• RQ3 強い透視効果と非平面的運動を示す現実世界のシーンにおいて、基本行列モデルの潜在的性能を実現できるのか？
• RQ4 補完的な幾何モデル（同型変換と基本行列）を効果的に統合することで、動き分離における部分空間クラスタリング性能を向上させられるか？
• RQ5 共正則化は、複雑な現実世界の動き分離シナリオにおいて、個々の幾何モデルの性能をどの程度向上させるのか？

主な発見

• 提案されたマルチビュー統合フレームワークは、Hopkins155、Hopkins12、MTPV62を含むすべての評価データセットで最先端の性能を達成した。
• 共正則化スキームにより、基本行列ビューの性能が個別に評価した場合を上回り、正則化パラメータを適切にチューニングした場合、全体として最良の結果を達成した。
• Hopkins155における同型変換モデルの成功は、仮想的な平面スライスによる接続性の向上に起因し、剛体的に移動する表面間の接続性が向上し、過剰なクラスタ分割が低減された。
• 新規に提案されたKT3DMoSegデータセットは、背景の分割、前景検出の失敗、動く物体におけるエピポーラ的あいまいさといった、現実世界の動き分離における顕著な課題を明らかにした。
• 強い透視効果と非コンパクトな背景構造を示すシーンでは、同型変換モデルは接続性が低いため過剰にクラスタ分割されがちであり、基本行列モデルは部分空間の重複と誤ったグループ化に苦しむ。
• 本手法は、個々のモデルの誤り（背景の分割や前景と静止物体の誤って統合）を効果的に是正し、モデル統合の有効性を実証した。