[論文レビュー] Towards Clustering-friendly Representations: Subspace Clustering via Graph Filtering

Zhengrui Ma, Zhao Kang+2 more|arXiv (Cornell University)|Jun 18, 2021

Advanced Graph Neural Networks参考文献 41被引用数 7

ひとこと要約

本稿では、部分空間クラスタリングのためのクラスタリングに適した表現を学習するためのグラフフィルタリングフレームワークを提案する。低パスフィルタを適用して特徴量にグラフ類似度を組み込むことで、データの分離性を向上させる。この手法は、深層学習モデルと同等の最先端の性能を達成しており、アブレーションスタディによりノイズ低減、構造の保持、クラス分離性の向上が確認された。

ABSTRACT

Finding a suitable data representation for a specific task has been shown to be crucial in many applications. The success of subspace clustering depends on the assumption that the data can be separated into different subspaces. However, this simple assumption does not always hold since the raw data might not be separable into subspaces. To recover the ``clustering-friendly'' representation and facilitate the subsequent clustering, we propose a graph filtering approach by which a smooth representation is achieved. Specifically, it injects graph similarity into data features by applying a low-pass filter to extract useful data representations for clustering. Extensive experiments on image and document clustering datasets demonstrate that our method improves upon state-of-the-art subspace clustering techniques. Especially, its comparable performance with deep learning methods emphasizes the effectiveness of the simple graph filtering scheme for many real-world applications. An ablation study shows that graph filtering can remove noise, preserve structure in the image, and increase the separability of classes.

研究の動機と目的

• 元のデータが自然に部分空間に分離されない場合の部分空間クラスタリングの限界を解決すること。
• グラフ構造の事前知識が不要な、滑らかでクラスタリングに適した特徴量を生成する表現学習戦略を開発すること。
• グラフフィルタリングが、特にノイズが多いか複雑なデータ条件下でも、多様なデータセットにおいてクラスタリング性能を向上させることを示すこと。
• 複雑な深層学習ベースのクラスタリング手法と同等の性能を達成できる、シンプルな非深層学習のグラフフィルタリングアプローチが有効であることを示すこと。

提案手法

• 本手法はk近傍法を用いてデータ駆動型のグラフを構築し、データ多様体をモデル化するために対称正規化グラフラプラシアンを適用する。
• 特徴表現を滑らかにするために、繰り返しグラフ低パスフィルタを適用し、フィルタカーネルはグラフラプラシアンの固有値分解から導出される。
• フィルタリングプロセスは $ \mathbf{X}^{(k)} = (I + \alpha L_s)^{-k} \mathbf{X} $ として定式化され、ここで $ L_s $ は対称正規化ラプラシアン、$ \alpha $ は滑らかさの強さを制御する。
• フィルタリングされた表現を用いて繰り返しグラフを更新することで、類似度行列を改善し、自己向上型の表現学習を可能にする。
• 本フレームワークは、低ランク部分空間クラスタリング（LRSC）や切り捨てたロバスト回帰（TRR）などの多様な部分空間クラスタリングモデルと互換性を持つ。
• 本手法はスペクトルグラフ理論を活用し、低周波成分（構造）を保持しながら高周波ノイズを抑制する。

実験結果

リサーチクエスチョン

• RQ1 グラフフィルタリングは、分離不能なデータにおいて、クラスタリングに適した表現を生成し、部分空間クラスタリングの性能を向上させることができるか？
• RQ2 画像および文書データにおいて、グラフフィルタリングはノイズ低減、構造の保持、クラス分離性にどのように影響を与えるか？
• RQ3 シンプルで非深層学習のグラフフィルタリングアプローチは、最先端の深層学習ベースのクラスタリング手法と同等の性能を達成できるか？
• RQ4 ノイズ除去と表現の識別性のバランスを最適化するには、最適なフィルタ順序（k）は何か？

主な発見

• グラフフィルタリングにより、汚染されたデータでは元のデータと比較してクラスタリング精度が最大6.5ポイント向上し、強力なノイズ耐性を示した。
• COIL40データセットでは、本手法はNMI 92.50%、純度87.22%を達成し、ベースライン手法（Nie et al., 2016）の83.92%の精度を上回った。
• k=1でグラフフィルタリングを適用した際、PSNRは26.12から28.76に上昇し、効果的なノイズ低減が確認された。
• SSIMはk=3でピークに達し、Fisherスコアはk=5でピークに達した。これは滑らかさと識別力の最適なバランスを示している。
• k > 8 では性能が低下した。これは、フィルタ順序が大きくなりすぎると過剰に滑らかくなりすぎ、過剰平滑化が発生することを確認した。
• アブレーションスタディにより、グラフフィルタリングがデータの分離性を向上させ、画像構造を保持し、高周波ノイズを除去することを確認した。