[論文レビュー] Adaptive Graph Auto-Encoder for General Data Clustering

Xuelong Li, Hongyuan Zhang+1 more|arXiv (Cornell University)|Feb 20, 2020

Advanced Graph Neural Networks参考文献 43被引用数 5

ひとこと要約

本稿では、生成モデルとグラフオートエンコーダーを用いて、重み付きグラフを自己適応的に構築・更新する一般データクラスタリングのための新規グラフオートエンコーダー、AdaGAEを提案する。訓練中に動的にスパarsityを増加させることで、クラスタリングの崩壊を回避し、事前学習を必要とせず初期化に敏感でもない状態で、多様なデータセットで最先端の性能を達成する。

ABSTRACT

Graph-based clustering plays an important role in the clustering area. Recent studies about graph convolution neural networks have achieved impressive success on graph type data. However, in general clustering tasks, the graph structure of data does not exist such that the strategy to construct a graph is crucial for performance. Therefore, how to extend graph convolution networks into general clustering tasks is an attractive problem. In this paper, we propose a graph auto-encoder for general data clustering, which constructs the graph adaptively according to the generative perspective of graphs. The adaptive process is designed to induce the model to exploit the high-level information behind data and utilize the non-Euclidean structure sufficiently. We further design a novel mechanism with rigorous analysis to avoid the collapse caused by the adaptive construction. Via combining the generative model for network embedding and graph-based clustering, a graph auto-encoder with a novel decoder is developed such that it performs well in weighted graph used scenarios. Extensive experiments prove the superiority of our model.

研究の動機と目的

• 固有のグラフ構造が存在しない一般データクラスタリングに、グラフニューラルネットワークを拡張すること。
• グラフオートエンコーダーにおける単純なグラフ更新が引き起こす不安定性と性能の崩壊を解消すること。
• 事前学習を必要とせず、初期化に敏感でないスケーラブルなクラスタリング手法を開発すること。
• GAEに適した重み付きグラフを構築するために、接続性分布の生成モデルを活用すること。
• 適応的スパarsityがグラフ構築に与える必要性を実証的に検証すること。

提案手法

• ノードの接続性分布に基づく生成モデルを用いて、初期のスパースなグラフを構築する。
• 重み付きグラフを想定した新しいデコーダーを備えたグラフオートエンコーダーを採用し、低次元埋め込みを学習する。
• 現在の埋め込みを用いて、各訓練エポックでグラフのスパarsity $k$ を適応的に増加させる。
• 崩壊を防ぐために、動的スパarsity更新戦略を導入し、一貫したクラスタ表現を確保する。
• 再構成とクラスタリングの目的関数を統合したジョイント損失関数を用い、項をバランスさせるハイパーパrameter $\lambda$ を導入する。
• 反復的トレーニングを実施：GAEのトレーニング後に、埋め込み空間における最近傍探索によりグラフを更新する。

実験結果

リサーチクエスチョン

• RQ1 なぜグラフオートエンコーダーにおける単純なグラフ更新が、一般クラスタリングタスクで深刻な性能低下（崩壊）を引き起こすのか？
• RQ2 事前のグラフ構造が存在しない一般データクラスタリングに、どうやってグラフオートエンコーダーを効果的に適応させるか？
• RQ3 適応的スパarsityは、訓練プロセスの安定化とクラスタリング性能の向上にどのような役割を果たすのか？
• RQ4 グラフ構築に生成的アプローチを適用することで、クラスタリングのための学習済み表現の質が向上するか？
• RQ5 多様なデータセットにおいて、AdaGAEは既存のディープクラスタリングモデルと比較して、頑健性、スケーラビリティ、性能の面でどのように差をつけるか？

主な発見

• AdaGAEは複数のデータセットで最先端の性能を達成し、20newsでは98.18%、USPSでは98.36%の正確度を記録し、ベースラインを著しく上回る。
• 固定スパarsityでは深刻な崩壊が発生する：COIL20では正確度が約50%低下し、NMIが約40%低下し、適応的スパarsityの必要性を確認する。
• 適応的グラフ更新機構は、すべてのデータセットで性能向上をもたらし、アブレーションスタディによりその肯定的影響を裏付けた。
• AdaGAEは初期化に頑健であり、多くのディープクラスタリングモデルとは異なり、事前学習を必要としない。
• 可視化により、適応的スパarsityが埋め込みの断片化を防ぎ、一貫性がありクラスタごとの表現を実現していることが確認された。
• 生成モデル関連の損失項（問題7）は極めて重要である—$\lambda$ を高すぎると、自明な埋め込みと崩壊が生じる。