[論文レビュー] Hard Sample Aware Network for Contrastive Deep Graph Clustering

Yue Liu, Xihong Yang+8 more|arXiv (Cornell University)|Dec 16, 2022

Complex Network Analysis Techniques被引用数 9

ひとこと要約

本稿では、属性と構造的類似性を共同でモデル化し、ハードポジティブおよびネガティブペアに動的重みを付けることで、ハードサンプル抽出を強化する対照的深層グラフクラスタリング手法であるHard Sample Aware Network（HSAN）を提案する。高信頼度の疑似ラベルと学習可能な類似性基準を統合することで、HSANはクラスタリング性能を向上させ、ベースラインと比較してCORAで最大8.48%高いNMIを達成した。

ABSTRACT

Contrastive deep graph clustering, which aims to divide nodes into disjoint groups via contrastive mechanisms, is a challenging research spot. Among the recent works, hard sample mining-based algorithms have achieved great attention for their promising performance. However, we find that the existing hard sample mining methods have two problems as follows. 1) In the hardness measurement, the important structural information is overlooked for similarity calculation, degrading the representativeness of the selected hard negative samples. 2) Previous works merely focus on the hard negative sample pairs while neglecting the hard positive sample pairs. Nevertheless, samples within the same cluster but with low similarity should also be carefully learned. To solve the problems, we propose a novel contrastive deep graph clustering method dubbed Hard Sample Aware Network (HSAN) by introducing a comprehensive similarity measure criterion and a general dynamic sample weighing strategy. Concretely, in our algorithm, the similarities between samples are calculated by considering both the attribute embeddings and the structure embeddings, better revealing sample relationships and assisting hardness measurement. Moreover, under the guidance of the carefully collected high-confidence clustering information, our proposed weight modulating function will first recognize the positive and negative samples and then dynamically up-weight the hard sample pairs while down-weighting the easy ones. In this way, our method can mine not only the hard negative samples but also the hard positive sample, thus improving the discriminative capability of the samples further. Extensive experiments and analyses demonstrate the superiority and effectiveness of our proposed method.

研究の動機と目的

• 既存の対照的深層グラフクラスタリング手法が、硬度測定において構造的情報を無視するという限界を解消すること。
• 先行研究で無視されがちなハードポジティブサンプルを克服し、識別能を向上させること。
• ハードポジティブおよびネガティブサンプルを同時に抽出する統合フレームワークを提案すること。
• 高信頼度のクラスタリング疑似ラベルに従って動的サンプル重み付け戦略を設計し、モデルが困難なサンプルに集中できるようにすること。
• ベンチマークグラフデータセットを用いた広範な実験を通じて、提案手法の有効性を検証すること。

提案手法

• HSANは、ノード属性とグラフ構造のための別個のエンコーダーを採用し、共有された潜在空間で統合表現を学習する。
• 包括的な類似度測定は、学習可能な線形結合により属性埋め込みと構造埋め込みを組み合わせ、サンプル間の関係をよりよく捉える。
• クラスタリングから得られる高信頼度の疑似ラベルを用いて、潜在的なポジティブおよびネガティブペアを特定する。
• 動的重み調節関数は、類似度が低いポジティブペア（ハードポジティブ）と類似度が高いネガティブペア（ハードネガティブ）を強調し、容易なペアを軽視する。
• この関数を用いて対照的損失を再重み付けし、トレーニング中にネットワークが困難なサンプルに注目できるようにする。
• 計算コストは標準的なinfoNCE損失と同等であり、時間的・空間的コストが非常に効率的である。

実験結果

リサーチクエスチョン

• RQ1 属性と構造的情報を共同でモデル化することで、対照的グラフクラスタリングにおける硬度測定にどのような影響を与えるか？
• RQ2 ハードポジティブおよびネガティブペアを両方考慮した動的サンプル重み付けは、クラスタリング性能を向上させることができるか？
• RQ3 高信頼度の疑似ラベルの統合は、ハードサンプル抽出の信頼性をどのように向上させるか？
• RQ4 提案された類似度関数と重み調節関数の影響は、多様なデータセットにおけるクラスタリング指標にどのような影響を与えるか？
• RQ5 提案手法は、信頼度しきい値や焦点係数といったハイパーパrameterの選択に対して頑健か？

主な発見

• HSANは、ベースラインと比較してCORAデータセットで最大8.48%高いNMIを達成し、顕著な性能向上を示した。
• 属性-構造類似度関数と重み調節関数の組み合わせが最良の性能をもたらし、単体での使用より優れた結果を出した。
• 350エポック後に安定して収束し、トレーニング全体を通して損失と精度が徐々に向上した。
• 動的重み付け戦略は初期段階で損失値を上昇させるが、困難なサンプルに注目することで、最終的なクラスタリング精度を向上させる。
• HSANはハイパーパrameterの変動に対して頑健であり、特に感度が低く、アブレーションスタディで焦点係数βの変化に対する感受性が最小限に抑えられていた。
• t-SNE可視化により、HSANは競合手法よりもより識別性が高く、明確に分離されたノード表現を学習していることが確認された。