[論文レビュー] Tight Continuous Relaxation of the Balanced $k$-Cut Problem

Syama Sundar Rangapuram, Pramod Kaushik Mudrakarta+1 more|arXiv (Cornell University)|May 24, 2015

Advanced Clustering Algorithms Research参考文献 26被引用数 12

ひとこと要約

本稿では、スペクトラルクラスタリングや従来の緩和法がしばしば緩いという限界を克服する、バランスの取れた $k$-カット問題のタイトな連続的緩和を提案する。合計比の最小化のための新規な単調降下アルゴリズムを導入し、複数のベンチマークで優れたクラスタリング性能を達成しており、既存手法と比較して高い正確性と低いカット値を実現している。

ABSTRACT

Spectral Clustering as a relaxation of the normalized/ratio cut has become one of the standard graph-based clustering methods. Existing methods for the computation of multiple clusters, corresponding to a balanced $k$-cut of the graph, are either based on greedy techniques or heuristics which have weak connection to the original motivation of minimizing the normalized cut. In this paper we propose a new tight continuous relaxation for any balanced $k$-cut problem and show that a related recently proposed relaxation is in most cases loose leading to poor performance in practice. For the optimization of our tight continuous relaxation we propose a new algorithm for the difficult sum-of-ratios minimization problem which achieves monotonic descent. Extensive comparisons show that our method outperforms all existing approaches for ratio cut and other balanced $k$-cut criteria.

研究の動機と目的

• バランスの取れた $k$-カットの既存連続的緩和の性能が低い問題、特にクラスタが明確に分離されていない設定での問題を解決すること。
• 再帰的分割を経由せずに、バランスの取れた $k$-カットの目的関数を直接最小化するタイトな連続的緩和を構築すること。
• 挑戦的な合計比の最小化問題に対する、単調降下の保証を持つ効率的な最適化アルゴリズムを提案すること。
• 推論設定において、必須リンク／不可リンク制約などの事前情報を直接統合できるようにすること。

提案手法

• 合計比の目的関数を新たに定式化することで、バランスの取れた $k$-カット問題に対する新たなタイトな連続的緩和を提案する。
• 連続的緩和を最適化するための単調降下アルゴリズムを導入し、収束性と安定性を保証する。
• サブモジュラリティを有するバランス関数を凸化するために、Löwdinger拡張を用いる。
• 標準的な比カット／正規化カットを超える、アプリケーション固有のバランス関数に対応できるように緩和を拡張する。
• ラベル情報は推論的クラスタリング定式化により統合し、最小限の監視情報で性能を向上させる。
• 収束性と解の品質を向上させるために、再重み付けされた合計比の最小化戦略を用いる。

実験結果

リサーチクエスチョン

• RQ1 非対称比のチーリングカットに対する最近提案された緩和が、実際にはクラスタが明確に分離されていない場合でもタイトであるか？
• RQ2 再帰的でない直接的な連続的緩和が、スペクトラルクラスタリングやグリーディ手法を上回る性能を発揮できるか？
• RQ3 合計比の最小化に単調降下アルゴリズムを用いることで、従来の非単調アプローチに比べて収束性とクラスタリング性能が向上するか？
• RQ4 推論設定において、事前ラベル情報が統合された場合に、本手法の有効性はいかがなものか？
• RQ5 提案された緩和は、標準的な比カットを超える任意のサブモジュラリティバランス関数を扱えるか？

主な発見

• 提案手法は、MNIST、20news、USPSを含むすべてのテストデータセットで最小のクラスタリング誤差を達成しており、推論設定では最小2.37%の誤差を記録した。
• 本手法は、すべてのベースラインと比較して一貫して低いバランスカット値（BCut）を生成し、MNISTデータセットではBCut最小0.439を達成した。
• 1%のラベル付きデータのみを用いた推論設定では、クラスタリング誤差をMTVの30.07%から26.55%に低減し、優れたラベル効率を示した。
• アルゴリズムは最適化中に単調降下を達成しており、[13]で提示された非単調手法とは異なり、収束保証が存在する。
• すべてのベンチマークで、スペクトラルクラスタリング、PNMF、ONMF、LSD、NMFR、Graclusと比較して、クラスタリングの正確性とカット品質の両面で本手法が優れている。
• 1クラスあたり1ラベルの最小限のラベル情報でも、20newsデータセットでは14.67%のクラスタリング誤差を達成し、MTVの18.67%を著しく上回った。