[論文レビュー] Superpixel-based Two-view Deterministic Fitting for Multiple-structure Data

Guobao Xiao, Hanzi Wang+2 more|arXiv (Cornell University)|Jul 20, 2016

Advanced Image and Video Retrieval Techniques参考文献 20被引用数 5

ひとこと要約

本稿では、外れ値が多様なデータにおいて複数のモデルインスタンスを高速かつ決定論的に推定可能にする、スーパープิกセルを用いた特徴外観事前知識を活用する新しい二視点幾何モデルフィッティング手法であるSuperpixel-based Deterministic Fitting (SDF) を提案する。スーパープイクセルを用いて決定論的サンプリングアルゴリズムと新規の逐次モデル選択フレームワークをガイドすることで、SDFは、単一構造および複数構造データの両方において、ランダム化手法（RANSAC, PROSAC, T-linkage）および決定論的手法（BnB, Astar）を凌駕する最先端の速度と正確性を達成する。

ABSTRACT

This paper proposes a two-view deterministic geometric model fitting method, termed Superpixel-based Deterministic Fitting (SDF), for multiple-structure data. SDF starts from superpixel segmentation, which effectively captures prior information of feature appearances. The feature appearances are beneficial to reduce the computational complexity for deterministic fitting methods. SDF also includes two original elements, i.e., a deterministic sampling algorithm and a novel model selection algorithm. The two algorithms are tightly coupled to boost the performance of SDF in both speed and accuracy. Specifically, the proposed sampling algorithm leverages the grouping cues of superpixels to generate reliable and consistent hypotheses. The proposed model selection algorithm further makes use of desirable properties of the generated hypotheses, to improve the conventional fit-and-remove framework for more efficient and effective performance. The key characteristic of SDF is that it can efficiently and deterministically estimate the parameters of model instances in multi-structure data. Experimental results demonstrate that the proposed SDF shows superiority over several state-of-the-art fitting methods for real images with single-structure and multiple-structure data.

研究の動機と目的

• RANSAC などのランダム化ロバストフィッティング手法に内在する、解の一貫性の欠如と、複数構造シナリオにおける高い計算コストという限界を是正すること。
• 特に、インライヤーが少なく複数のモデルインスタンスを含むデータに対して、既存の決定論的手法の高い計算複雑性を克服すること。
• 具体的には、スーパープイクセルによるグループ化の手がかりを活用して、決定論的仮説生成の効率性と信頼性を向上させること。
• 仮説を点ではなく逐次的に削除する新しいモデル選択アルゴリズムを開発し、すべてのモデルインスタンスを効率的かつ正確に検出可能にする。
• 実世界の複雑な構造と高い外れ値比率を示す画像において、二視点幾何モデルフィッティングの分野で、決定論的かつ一貫性があり、高精度なフィッティングを達成すること。

提案手法

• 入力画像からスーパープイクセルを生成し、空間的に一貫性のある特徴外観事前知識を抽出することで、仮説サンプリングをガイドする。
• 決定論的サンプリングアルゴリズムが、スーパープイクセルのグループ化とキーポイントマッチングスコアを用いて、不良な仮説を最小限に抑えた高品質な仮説を生成する。
• 本手法は、インライヤー点ではなく仮説を逐次的に削除する新しい「フィット・アンド・リムーブ」フレームワークを導入し、冗長な計算を削減する。
• モデル選択アルゴリズムは、インライヤーの一貫性とロバスト性に基づいて仮説を評価・順位付けし、すべてのモデルインスタンスの効率的検出を可能にする。
• ホモロジー推定や基本行列推定といった二視点問題に本手法を適用し、単一構造および複数構造データを含む実画像ペアを用いて性能を評価する。
• 本手法は決定論的であるため、実行間で一貫性のある結果を保証し、正確性を損なわず高速化を最適化する設計である。

実験結果

リサーチクエスチョン

• RQ1 スーパープイクセルに基づくグループ化の手がかりは、決定論的幾何モデルフィッティングにおける仮説生成の質と一貫性を向上させ得るか？
• RQ2 特徴外観事前知識を活用する決定論的サンプリング戦略は、複数構造データフィッティングにおいて、計算コストを低減しつつも高い正確性を維持できるか？
• RQ3 新規の逐次仮説削除モデル選択フレームワークは、従来のフィット・アンド・リムーブ手法に比べ、効率性と有効性の面で優れているか？
• RQ4 提案手法SDFは、実世界の複数構造データにおいて、ランダム化手法（例：RANSAC, PROSAC, T-linkage）および決定論的手法（例：BnB, Astar）に比べ、速度、正確性、一貫性の面で優れているか？
• RQ5 スーパープイクセルからの特徴外観事前知識は、インライヤー比率が低い状況において、決定論的フィッティングの性能をどの程度向上させ得るか？

主な発見

• SDFは、全評価手法の中で最も高速であり、ホモロジー推定ではRANSACの1.58～80.14倍速く、基本行列推定では32.08～52.37倍速い。
• 低インライヤー比率を示す「MC3」データセットにおいて、SDFは最小のサンプソン誤差（0.07）を達成し、時間制限内で収束しなかったT-linkageに比べ769.70倍速かった。
• SDFは、すべての5つの基本行列推定データセットで最小のサンプソン誤差を記録し、RANSAC, PROSAC, T-linkage に比して正確性と速度の両面で優れていた。
• SDFは決定論的性質のおかげで、解の一貫性があり、RANSAC や PROSAC などのランダム化手法とは異なり、実行間で解のばらつきが見られなかった。
• ホモロジー推定において、SDFはPROSACに比べ3.2～300倍速く、T-linkageに比べ1.5～2桁の速度向上を達成しながら、正確性を維持または向上させた。
• 本手法は、反復的再サンプリングを必要とせず、複数構造データにおけるすべてのモデルインスタンスを正常に検出できた。これは、モデル選択段階における優れた効率性を示している。