[論文レビュー] Constrained 1-Spectral Clustering

Syama Sundar Rangapuram, Matthias Hein|arXiv (Cornell University)|May 24, 2015

Face and Expression Recognition参考文献 18被引用数 10

ひとこと要約

本稿では、制約付き正規化カット問題を連続最適化枠組みにきめ細かく緩和する新規手法である制約付き1-スペクトルクラスタリング（COSC）を紹介する。この手法は、must-linkおよびcannot-link制約を完全に満たすことを保証する。従来の手法とは異なり、COSCは正規化カットの最適化を図りながらも、すべての制約を満たす。MNIST や Shuttle といった大規模データセットを含む多様なデータセットにおいて、クラスタリング精度とカット品質の両面で既存手法を上回る性能を発揮する。

ABSTRACT

An important form of prior information in clustering comes in form of cannot-link and must-link constraints. We present a generalization of the popular spectral clustering technique which integrates such constraints. Motivated by the recently proposed $1$-spectral clustering for the unconstrained problem, our method is based on a tight relaxation of the constrained normalized cut into a continuous optimization problem. Opposite to all other methods which have been suggested for constrained spectral clustering, we can always guarantee to satisfy all constraints. Moreover, our soft formulation allows to optimize a trade-off between normalized cut and the number of violated constraints. An efficient implementation is provided which scales to large datasets. We outperform consistently all other proposed methods in the experiments.

研究の動機と目的

• 既存の制約付きスペクトルクラスタリング手法が制約の完全満足を保証できないという限界を解消すること。
• 制約付き正規化カット問題のきめ細かな連続的緩和を構築し、正確な制約の実装を可能にすること。
• 大規模データセットに対してもスケーラブルな解決策を提供しながら、高いクラスタリング精度を維持すること。
• 一貫性のないまたはノイズの多い制約の状況において、正規化カットと制約違反の間の柔軟なトレードオフを可能にすること。

提案手法

• COSCは、1-ラプラシアンフレームワークを用いて、制約付き正規化カット問題を連続最適化問題として定式化し、離散的組合せ問題のきめ細かな緩和を実現する。
• 信頼性の低いまたは一貫性のない制約に対応できるよう、正規化カットと違反制約数の間の最適化を可能にするソフトフォーミュレーションを導入する。
• 複数回のランダム初期化を用いた非凸最適化スキームを採用し、高品質な解への収束を向上させる。
• 制約は、連続的緩和においてmust-linkおよびcannot-link条件を直接強制するように変更された目的関数を介して符号化される。
• 参考文献[9]の技術を応用した効率的な実装により、MNIST や Shuttle といった大規模データセットへのスケーリングが可能である。
• 初期分割がすべての制約を満たしている場合、その改善を図る。改善が得られなければ1回の反復後に終了する。

実験結果

リサーチクエスチョン

• RQ1 制約付き正規化カット問題の連続的緩和は、must-linkおよびcannot-link制約を完全に満たすことができるか？
• RQ2 提案手法は、既存の制約付きスペクトルクラスタリング手法と比較して、正規化カットとクラスタリング誤差の両面で優れているか？
• RQ3 一貫性のないまたは信頼性の低い制約に対しても、カット品質と制約違反のトレードオフを通じて対処できるか？
• RQ4 MNIST や Shuttle といった大規模データセットに対しても、効果的にスケーリングできるか？

主な発見

• COSCは、Spam や USPS（0 vs rest）といった非対称データセットを含むすべてのデータセットで、クラスタリング誤差においてすべてのベースライン手法を一貫して上回る。
• 特にMNIST や Shuttle といった大規模データセットでは、SCLC よりも顕著に低い正規化カット値を達成しており、優れたカット品質を示している。
• SCLC が理論的には制約を満たすと保証しているものの、実際には制約を満たさないことがあるのに対し、COSC はすべての実行で制約の完全満足を保証する。
• COSC は、SCLC がそのスケーリングに失敗するようなマルチパーティション問題に対しても、完全な制約強制を可能にする唯一の手法である。
• 一貫性のない制約を含む実験では、COSC は正規化カットと制約違反の間で効果的にバランスを取り、信頼性の低い入力に対してもロバストであることが示された。
• COSC は大規模データセットに対しても効率的にスケーリングでき、MNIST（630,000件のサンプル）や Shuttle（58,000件のサンプル）を正常に処理できた。一方、CSP や他の手法は密行列演算のため、同様のデータセットでは失敗した。