[論文レビュー] RANSAC Algorithms for Subspace Recovery and Subspace Clustering

Ery Arias-Castro, Jue Wang|arXiv (Cornell University)|Nov 30, 2017

Sparse and Compressive Sensing Techniques参考文献 15被引用数 9

ひとこと要約

本稿では、外れ値が存在する状況下での頑健な部分空間回復および部分空間クラスタリングのためのRANSACベースのアルゴリズムを提案し、分析する。RANSACの成功確率と計算複雑性について理論的保証を確立し、ノイズなし設定ではRANSACが正確であるが、インライヤーの割合が低い場合にはその効率が著しく低下することを示し、理論的には最適であるが実用的でないことを明らかにする。

ABSTRACT

We consider the RANSAC algorithm in the context of subspace recovery and subspace clustering. We derive some theory and perform some numerical experiments. We also draw some correspondences with the methods of Hardt and Moitra (2013) and Chen and Lerman (2009b).

研究の動機と目的

• 外れ値の影響を受ける状況下での部分空間回復および部分空間クラスタリングにおいて、RANSACの性能と計算複雑性を厳密に分析すること。
• インライヤーの割合が低い場合にRANSACが理論的には最適であるが計算的に非現実的であることを確立し、文献に知られている限界を形式化すること。
• さまざまなデータ設定下で、SSC、SCC、TSCといった最先端の手法とRANSACを実験的に比較すること。
• Hardt & Moitra (2013) や Chen & Lerman (2009b) の研究における既存の頑健な部分空間学習手法とRANSACとの理論的関連を明らかにすること。

提案手法

• 部分空間回復のための標準的なRANSACアルゴリズムを提案し、(d+1)個の点の組み合わせをサンプリングし、線形従属性をチェックすることで、元のd次元部分空間を特定する。
• 部分空間クラスタリングへのRANSACフレームワークの拡張として、p個の点の組み合わせを繰り返しサンプリングし、最小の線形従属部分集合を同定し、インライヤーをデータから除去することで複数の部分空間を回復する。
• 関数 𝒜 が (d+1)組の点が線形従属（次元 ≤d の部分空間を張る）場合に1を返すように定義し、ChenとLerman (2009b) のSCCアルゴリズムに適応する。
• 両方の点iとjが同じ (d+1)組に線形従属として含まれる回数を数えることで計算される類似度行列 W_ij を用いて、スパクタルグラフ分割を実行する。
• 部分空間クラスタリングパイプラインにおいて、NP困難なスパース解の探索ステップを、計算的に扱いやすい代替手段として ℓ₁-最小化に置き換える。
• 複数の設定（d, p, K, m, m₀ を変化）で数値実験を実施し、500回の繰り返しにおいてランダムインデックスとシステム時間の両方を測定して性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 仮定1のもとで、部分空間回復におけるRANSACの理論的成功確率と期待反復回数は何か？
• RQ2 部分空間回復およびクラスタリングにおいて、RANSACの計算複雑性はインライヤーの割合が低下するにつれてどのように変化するか？
• RQ3 さまざまなデータ設定下で、RANSACはSSC、SCC、TSCと比べて精度と実行時間の面でどのように異なるか？
• RQ4 RANSACはHardt & Moitra (2013) や Chen & Lerman (2009b) の研究における既存の頑健な部分空間クラスタリング手法と、理論的にどのように関連するか？
• RQ5 高次元かつ外れ値が多い状況下でも、RANSACが計算コストが高いために非現実的になる中で、どのような条件下で依然として競争力を持つのか？

主な発見

• 部分空間回復におけるRANSACの成功確率は θ₁ = C(m, d+1)/C(n, d+1) であり、期待反復回数は 1/θ₁ である。m/n が小さい場合にはこれが非現実的に大きな値になる。
• ノイズなし設定ではRANSACは正確かつ理論的に最適であるが、インライヤーの割合が低下するにつれて計算コストが急激に増加する。
• 数値実験では、外れ値の数が少ない場合（例：(d,p,K,m,m₀) = (4,8,3,50,50)）にRANSACはすべての設定でランダムインデックスが1.0を達成し、完全なクラスタリングを示している。
• 高い精度を達成しているが、RANSACの平均システム時間は (8,10,3,50,50) の設定で17.18秒に達し、精度ではSSCやSCCを上回るが、速度では劣る。
• SSCとSCCは低次元設定では高いランダムインデックス（例：0.9997 および 0.9548）を達成するが、TSCは外れ値が多いと性能が著しく低下し（ランダムインデックス 0.2849）、悪い結果を示す。
• 内在次元dが中程度で外れ値が少ない場合にはRANSACは精度で競争力を持つが、dが増加するか外れ値の数が増えれば実用的ではなくなる。