[論文レビュー] Iterative Spectral Method for Alternative Clustering

Chieh Wu, Stratis Ioannidis+4 more|arXiv (Cornell University)|Sep 8, 2019

Advanced Clustering Algorithms Research被引用数 11

ひとこと要約

本稿では、カーネル次元代掲クラスタリング（KDAC）における非凸最適化問題を解くための反復的スペクトル法（ISM）を提案する。ISMは、特許取得済みのテイラー近似に基づく初期化を用いることで、スケーラビリティと収束速度を顕著に向上させ、従来の次元増加（DG）法と比較して最大10^5倍の高速化を達成し、局所最適性に関する理論的保証とともに優れたクラスタリング品質を実現する。

ABSTRACT

Given a dataset and an existing clustering as input, alternative clustering aims to find an alternative partition. One of the state-of-the-art approaches is Kernel Dimension Alternative Clustering (KDAC). We propose a novel Iterative Spectral Method (ISM) that greatly improves the scalability of KDAC. Our algorithm is intuitive, relies on easily implementable spectral decompositions, and comes with theoretical guarantees. Its computation time improves upon existing implementations of KDAC by as much as 5 orders of magnitude.

研究の動機と目的

• 次元増加（DG）やステイフェル多様体（SM）最適化といった既存のKDACソルバーの高い計算コストを低減すること。
• インタラクティブで大規模なデータ分析における代替クラスタリングのスケーラビリティを向上させること。
• 既存のクラスタリングに関して重複するパーティションを回避しつつ、高いクラスタリング品質を保証する手法を開発すること。
• ステイフェル多様体上の非凸最適化問題に対して、局所最小値への収束に関する理論的保証を提供すること。
• ランダムリスタートに依存しない、自然で高品質な初期化を導入すること。

提案手法

• ラグランジュ関数から導出される行列の逐次固有値分解によりKDAC最適化問題を解く反復的スペクトル法（ISM）を提案する。
• ラグランジュ関数のテイラー近似を用いて自然な初期化を構築し、ランダムリスタートへの依存度を低減する。
• 非凸最適化問題としてステイフェル多様体上に制約を課し、スペクトル分解に基づく反復的更新を実装する。
• カーネルベースの目的関数の構造を活用して、固有値分解による計算を効率化する。
• 高次元における固有値分解のさらなる高速化を図るため、座標ごとのパワー法（CPM）のような近似手法を統合する。
• 1次および2次必要条件を満たす点への収束を保証する。

実験結果

リサーチクエスチョン

• RQ1 スペクトルに基づく反復的手法は、代替クラスタリングの文脈で、ステイフェル多様体上の従来の非凸最適化手法と比較して、速度とクラスタリング品質の両面で優れていると言えるか？
• RQ2 テイラーに基づく初期化は、KDAC最適化における収束性を著しく向上させ、ランダムリスタートの必要性を低減するか？
• RQ3 ISMは、DG や SM と比較して、次元の増加に伴いどの程度スケーリングするか？
• RQ4 ISMの固定点に対して、局所最適性に関する理論的保証を確立できるか？
• RQ5 合成データおよび実世界のデータセットにおいて、ISMはSM や DG と比較して、クラスタリング品質と実行時間の両面で優れているか？

主な発見

• ISMは次元増加（DG）法に対して最大10^5倍の高速化を達成し、顔写真データセットではステイフェル多様体（SM）よりも最大5倍の高速化を実現した。
• 正規化相互情報量や調整ランダムインデックスといった複数の指標において、ISMはDG や SM を上回るクラスタリング品質を示した。
• 提案されたスペクトル初期化（SI）は、ISM、SM、DG のすべての手法においてクラスタリング品質と収束速度を向上させ、単独での改善策としても価値があることを示した。
• ISMの計算ボトル neck はO(d^3)の固有値分解であるが、CPMのような近似手法によりこれを緩和し、次元にほぼ線形にスケーリングするようになった。
• 理論的分析により、ISMの固定点が局所最適性の1次および2次必要条件を満たすことが確認された。
• 合成データおよび実データの実験から、ISMは次元が増加しても高い性能を維持する一方、SM や DG は性能が著しく低下することが明らかになった。