[論文レビュー] Deep Contrastive Graph Representation via Adaptive Homotopy Learning

Rui Zhang, Chengjun Lu+2 more|arXiv (Cornell University)|Jun 17, 2021

Advanced Graph Neural Networks参考文献 51被引用数 4

ひとこと要約

本稿では、マクローリン双対性を用いてソフトラベルを段階的に学習することで、事前ラベルに依存せずに、教師なし設定下での深層対照的表現学習を可能にする、新たなフレームワークである適応的ホモトピー対照的学習（AHCL）を提案する。この手法は、適応的類似度行列から深層ラプラシアングラフを構築し、任意の監視なし、手動によるハイパーパrameterチューニングなしで、ベンチマークデータセットにおいて最先端のクラスタリング性能を達成する。

ABSTRACT

Homotopy model is an excellent tool exploited by diverse research works in the field of machine learning. However, its flexibility is limited due to lack of adaptiveness, i.e., manual fixing or tuning the appropriate homotopy coefficients. To address the problem above, we propose a novel adaptive homotopy framework (AH) in which the Maclaurin duality is employed, such that the homotopy parameters can be adaptively obtained. Accordingly, the proposed AH can be widely utilized to enhance the homotopy-based algorithm. In particular, in this paper, we apply AH to contrastive learning (AHCL) such that it can be effectively transferred from weak-supervised learning (given label priori) to unsupervised learning, where soft labels of contrastive learning are directly and adaptively learned. Accordingly, AHCL has the adaptive ability to extract deep features without any sort of prior information. Consequently, the affinity matrix formulated by the related adaptive labels can be constructed as the deep Laplacian graph that incorporates the topology of deep representations for the inputs. Eventually, extensive experiments on benchmark datasets validate the superiority of our method.

研究の動機と目的

• 従来のホモトピー手法が固定された手動チューニングされた係数に依存するための柔軟性の欠如を克服すること。
• 事前ラベル情報が存在しない状況下でも、ホモトピーに基づくアルゴリズムが効果的に機能する表現学習を可能にすること。
• データから適応的にソフトラベルと類似関係を学習するフレームワークを開発し、学習された表現のトポロジーを捉える深層ラプラシアングラフを構築すること。
• 適応的重み学習とオートエンコーダ再構成を統合することで、対照的学習における深層特徴抽出と表現学習を向上させること。

提案手法

• マクローリン双対性を用いて最適なホモトピー係数を自動的に学習する、適応的ホモトピーフレームワーク（AH）を導入し、手動による係数チューニングを置き換える。
• AHフレームワークを対照的学習に適用し、教師なし環境でエンドツーエンドにソフトラベルを学習する、適応的ホモトピー対照的学習（AHCL）を実現する。
• 適応的ソフトラベルから導出された類似度行列を用いて、深層ラプラシアングラフを構築し、深層表現のトポロジカル構造を符号化する。
• 残差ブロックアーキテクチャを備えたシアンプルエンコーダを用いて深層埋め込みを抽出し、その後に不均衡なオートエンコーダを適用して入力データを再構成する。
• 特徴の崩壊を防ぎ、学習を安定化させるために、平均二乗誤差（MSE）を再構成損失として使用する。
• 適応的類似度行列を学習可能でデータ駆動型の類似度測定として活用し、表現学習をガイドする。

実験結果

リサーチクエスチョン

• RQ1 ホモトピーに基づく手法は、表現学習において事前に指定された係数に依存せずに、柔軟に適応可能にできるか？
• RQ2 適応的ラベル学習を用いることで、弱教師ありから完全に教師なしの設定への対照的学習の移行は可能か？
• RQ3 深層特徴から導出された適応的ソフトラベルは、意味的でトポロジカルに情報を持つラプラシアングラフを形成できるか？
• RQ4 適応的ホモトピーとオートエンコーダ再構成の統合は、特徴表現を向上させ、崩壊を防止できるか？

主な発見

• AHCLは5つのベンチマークデータセットで最先端の性能を達成し、全データセットで9つのベースライン手法を上回り、ACCおよびNMIの両指標で優れた結果を示した。
• UMISTデータセットでは、AHCLは90.78%のACCおよび95.47%のNMIを達成し、2番目に優れた手法（SC-Y）の89.33% ACCを顕著に上回った。
• FASHIONデータセットでは、AHCLは96.45%のACCおよび99.32%のNMIを達成し、複雑で現実世界のデータに対しても優れた性能を示した。
• アブレーションスタディの結果、AHCLはKM-Z、SC-Z、SC-Yベースラインに対して顕著にクラスタリング性能を向上させた。特に深層特徴および類似度行列の学習で最も高い向上が観察された。
• 収束解析の結果、全データセットで60エポック以内に高速かつ安定した収束が確認され、適応的重み学習による頑健な学習ダイナミクスが裏付けられた。