[論文レビュー] A constrained clustering based approach for matching a collection of feature sets

Junchi Yan, Zhe Ren+2 more|arXiv (Cornell University)|Jun 12, 2016

Advanced Image and Video Retrieval Techniques参考文献 3被引用数 3

ひとこと要約

本論文では、一元的ノード特徴量のみを用いて、複数の特徴集合をマッチングする制約付きクラスタリングに基づく手法を提案する。他の集合によって形成されたクラスタに特徴を反復的に割り当てながら、中心を更新することで、クロスセットの一貫性とグローバル情報の協調的活用により、ノイズや外れ値に対して優れた性能を達成する。

ABSTRACT

In this paper, we consider the problem of finding the feature correspondences among a collection of feature sets, by using their point-wise unary features. This is a fundamental problem in computer vision and pattern recognition, which also closely relates to other areas such as operational research. Different from two-set matching which can be transformed to a quadratic assignment programming task that is known NP-hard, inclusion of merely unary attributes leads to a linear assignment problem for matching two feature sets. This problem has been well studied and there are effective polynomial global optimum solvers such as the Hungarian method. However, it becomes ill-posed when the unary attributes are (heavily) corrupted. The global optimal correspondence concerning the best score defined by the attribute affinity/cost between the two sets can be distinct to the ground truth correspondence since the score function is biased by noises. To combat this issue, we devise a method for matching a collection of feature sets by synergetically exploring the information across the sets. In general, our method can be perceived from a (constrained) clustering perspective: in each iteration, it assigns the features of one set to the clusters formed by the rest of feature sets, and updates the cluster centers in turn. Results on both synthetic data and real images suggest the efficacy of our method against state-of-the-arts.

研究の動機と目的

• 一元的特徴量がノイズによって損なわれる状況下で、標準的なペアワイズ手法の性能が低下するという課題に対処すること。
• ハンガリアン法などのペアワイズ線形割り当て手法が、複数の集合にわたるグローバル一貫性を十分に活用できないという制限を克服すること。
• すべての特徴集合間で対応の一貫性を強制するために、すべての集合からの情報を統合的に活用する手法を開発すること。
• 特徴をクラスタに割り当て、クラスタ中心を更新する反復的クラスタリングフレームワークを設計し、マッチング精度を向上させること。

提案手法

• 他の集合が形成するクラスタに、ある集合の特徴を割り当てる制約付きクラスタリング問題として、マルチセット特徴マッチング問題を定式化する。
• 各反復で、選択された集合の特徴を、すべての他の集合の結合から導出されたクラスタに、一元的特徴量の類似度に基づく最近傍戦略を用いて割り当てる。
• 割り当てられた特徴の重心を計算することで、反復ごとにクラスタ中心を逐次更新し、クラスタ表現を改善する。
• 動的基準に基づいてベースとなる特徴集合と更新順序を選択する一貫性基準を導入し、ノイズや異種データに対してロバスト性を向上させる。
• 2つの変種を導入する：matchCluster（ベース集合と順序の適応的選択）とmatchCluster_fast（ランダム選択）、初期値への感受性を評価する。
• 一元的特徴量のみを用いたマッチングはペアワイズで線形割り当て問題であるが、クラスタリングを介して複数集合に拡張することで、グローバル構造を活用する。

実験結果

リサーチクエスチョン

• RQ1 一元的特徴量が損なわれる状況下でも、複数の特徴集合にわたるグローバル情報を効果的に活用することで、マッチング精度を向上させることができるか？
• RQ2 ノイズや外れ値の影響下で、提案手法の制約付きクラスタリングフレームワークは、ペアワイズハンガリアン法や他の最先端のマルチセットマッチング手法と比較してどのように性能を発揮するか？
• RQ3 ベース特徴集合と更新順序の適応的選択は、ランダムまたは固定順序と比較して性能向上をもたらすか？
• RQ4 実世界の画像シーケンスにおいて、この手法は複数の特徴集合間で対応の一貫性をどの程度保持できるか？

主な発見

• ノイズと外れ値が増加する合成データにおいて、提案手法（matchCluster）はすべてのベースラインを上回り、特に変形度や外れ値率が高い状況で顕著な優位性を示す。
• 実世界の画像シーケンス（CMU Hotel および Willow-ObjectClass）において、matchClusterは最先端の手法と同等の性能を発揮し、一部の設定ではmatchOptをも上回る。
• 適応的バージョン（matchCluster）は、高速バージョン（matchCluster_fast）を著しく上回り、特に実画像において顕著である。これは、異種データにおける初期値の質が重要であることを示唆する。
• ペアワイズにハンガリアン法を適用した手法（Hung_lin）は、クロスセット情報が欠如しているため、最も性能が低く、グローバル最適化の利点が確認された。
• 可視化結果では、matchClusterはペアワイズハンガリアンマッチングと比較して、誤った対応（赤線）を減らし、正しい対応（緑線）を増やしている。
• 本手法はノイズや外れ値に対してロバストであり、障害が増加しても徐々に精度が低下する一方、ベースライン手法は急激に性能が低下する。