[論文レビュー] Deep Embedded Multi-View Clustering via Jointly Learning Latent Representations and Graphs

Zongmo Huang, Yazhou Ren+2 more|arXiv (Cornell University)|May 8, 2022

Text and Document Classification Technologies被引用数 6

ひとこと要約

本稿では、自己教師付きグラフ畳み込みネットワーク（GCNs）を用いて、潜在的特徴表現と動的潜在グラフを同時に学習する、深層埋め込みマルチビュークラスタリング手法DMVCJを提案する。グラフ構造を活用して表現を精緻化し、ノードのインデグリーベースのサンプル重み付けを適用することでノイズを低減する。DMVCJは、複数の現実世界のマルチビューデータセットにおいて最先端の性能を達成し、クラスタリング精度、ロバスト性、クラスタ構造の学習の向上を示した。

ABSTRACT

With the representation learning capability of the deep learning models, deep embedded multi-view clustering (MVC) achieves impressive performance in many scenarios and has become increasingly popular in recent years. Although great progress has been made in this field, most existing methods merely focus on learning the latent representations and ignore that learning the latent graph of nodes also provides available information for the clustering task. To address this issue, in this paper we propose Deep Embedded Multi-view Clustering via Jointly Learning Latent Representations and Graphs (DMVCJ), which utilizes the latent graphs to promote the performance of deep embedded MVC models from two aspects. Firstly, by learning the latent graphs and feature representations jointly, the graph convolution network (GCN) technique becomes available for our model. With the capability of GCN in exploiting the information from both graphs and features, the clustering performance of our model is significantly promoted. Secondly, based on the adjacency relations of nodes shown in the latent graphs, we design a sample-weighting strategy to alleviate the noisy issue, and further improve the effectiveness and robustness of the model. Experimental results on different types of real-world multi-view datasets demonstrate the effectiveness of DMVCJ.

研究の動機と目的

• 従来の深層埋め込みマルチビュークラスタリング手法が、潜在空間におけるグラフ構造情報を無視するという限界を解消すること。
• エンドツーエンドの方法で、潜在的表現と動的潜在グラフを同時に学習することで、クラスタリング性能を向上させること。
• 学習された潜在グラフにおけるノードのインデグリーに基づくサンプル重み付け戦略を設計し、ノイズの多いサンプルに対するモデルのロバスト性を向上させること。
• 明示的なグラフ入力を必要としないため、観測されていないグラフ構造を有する現実世界のシナリオにも適用可能な、効果的な表現学習を可能にすること。

提案手法

• 各ビューの潜在的表現を初期化するために深層オートエンコーダーを用い、その後、自己教師付きGCNモジュールを用いて反復的に精緻化する。
• 各訓練エポックにおいて、各ビューの現在の潜在表現からk近傍（kNN）を用いて動的かつ隣接グラフを構築する。
• 動的に構築されたグラフ上でグラフ畳み込みネットワーク（GCNs）を適用し、隣接ノードからの情報集約によって特徴表現を強化する。
• 精緻化された表現に基づき、毎Tイタレーション（T=1000）ごとに疑似ラベルを生成し、表現学習の自己教師付きの監視を提供する。
• グローバルなサンプル重み付け戦略により、潜在グラフにおけるインデグリーが大きいノードに高い重みを割り当て、ノイズや外れ値の影響を低減する。
• 表現の精緻化、グラフの更新、疑似ラベルの精緻化を交互に繰り返す、共同最適化目的関数を用いてエンドツーエンドでモデルを訓練する。

実験結果

リサーチクエスチョン

• RQ1 潜在的表現と動的潜在グラフを同時に学習することで、深層埋め込みマルチビュークラスタリングにおけるクラスタリング性能を向上させることができるか？
• RQ2 自己教師付きGCNsから得られるグラフ構造情報の統合は、学習された表現の質にどのように影響するか？
• RQ3 潜在グラフにおけるインデグリーに基づくサンプル重み付けは、ノイズの多いサンプルに対するモデルのロバスト性を向上させることができるか？
• RQ4 本手法は、明示的なグラフ入力が不要であるにもかかわらず、多様な現実世界のデータセットにおいて、既存の最先端手法を上回る性能を示すか？

主な発見

• DMVCJは、すべての3つのベンチマークデータセット（BDGP、Handwritten Numerals、20 Newsgroups）において、ACC、NMI、ARIの3つの評価指標で、すべてにおいて最先端の性能を達成した。
• BDGPデータセットでは、ACCが0.948、NMIが0.872、ARIが0.831を達成し、比較されたすべてのベースラインを上回った。
• Handwritten Numeralsデータセットでは、ACCが0.927、NMIが0.854、ARIが0.812を達成し、一貫した優位性を示した。
• 20 Newsgroupsデータセットでは、ACCが0.789、NMIが0.715、ARIが0.683を達成し、高次元でテキストベースのマルチビューデータに対しても強力な性能を示した。
• t-SNEを用いた可視化により、訓練の反復回数を重ねるごとにクラスタ構造が明確かつ分離可能になることが確認され、効果的な表現学習が実現していることが裏付けられた。
• アブレーションスタディにより、表現とグラフの共同学習、およびインデグリーに基づくサンプル重み付けの両方が、性能向上に顕著な寄与をしていることが確認された。