[論文レビュー] Deep Hypergraph Structure Learning

Zizhao Zhang, Yifan Feng+2 more|arXiv (Cornell University)|Aug 26, 2022

Advanced Graph Neural Networks被引用数 9

ひとこと要約

本稿では、ノイズや欠損接続を低減するために、ハイパーグラフ構造を最適化するための新しいハイパーグラフ情報ボトルネック（HIB）原理を用いた、深層ハイパーグラフ構造学習フレームワークであるDeepHGSLを提案する。初期構造からの不要な情報を最小化しつつ、タスク関連の信号を保持することで、ハイパーグラフニューラルネットワークのロバスト性と性能が向上し、複数のベンチマークで最先端の精度と構造的ノイズ下での安定性を達成する。

ABSTRACT

Learning on high-order correlation has shown superiority in data representation learning, where hypergraph has been widely used in recent decades. The performance of hypergraph-based representation learning methods, such as hypergraph neural networks, highly depends on the quality of the hypergraph structure. How to generate the hypergraph structure among data is still a challenging task. Missing and noisy data may lead to "bad connections" in the hypergraph structure and destroy the hypergraph-based representation learning process. Therefore, revealing the high-order structure, i.e., the hypergraph behind the observed data, becomes an urgent but important task. To address this issue, we design a general paradigm of deep hypergraph structure learning, namely DeepHGSL, to optimize the hypergraph structure for hypergraph-based representation learning. Concretely, inspired by the information bottleneck principle for the robustness issue, we first extend it to the hypergraph case, named by the hypergraph information bottleneck (HIB) principle. Then, we apply this principle to guide the hypergraph structure learning, where the HIB is introduced to construct the loss function to minimize the noisy information in the hypergraph structure. The hypergraph structure can be optimized and this process can be regarded as enhancing the correct connections and weakening the wrong connections in the training phase. Therefore, the proposed method benefits to extract more robust representations even on a heavily noisy structure. Finally, we evaluate the model on four benchmark datasets for representation learning. The experimental results on both graph- and hypergraph-structured data demonstrate the effectiveness and robustness of our method compared with other state-of-the-art methods.

研究の動機と目的

• ハイパーグラフ構造データにおけるノイズや欠損した高次結合（"悪く接続された接続"）がハイパーグラフニューラルネットワークの性能を低下させることに起因する課題に対処すること。
• エンドツーエンドの方法でノード表現とハイパーグラフ構造を同時に学習できる汎用的な深層学習フレームワークを開発すること。
• ノイズや欠損リンクなどの構造的摂動に対して、ハイパーグラフベースの表現学習のロバスト性を向上させること。
• 情報ボトルネック原理をハイパーグラフ設定に拡張し、構造最適化のためのハイパーグラフ情報ボトルネック（HIB）を導入すること。
• 実世界のデータ、例えばソーシャルネットワーク、脳ネットワーク、レコメンデーションシステムにおける高次相関のより正確で包括的なモデリングを可能にすること。

提案手法

• ノード表現と初期ハイパーグラフ構造間の相互情報量を最小化し、ターゲットラベルとの相互情報量を最大化することで、ノード表現と初期構造の間の冗長な情報の削減を目的とした新しいハイパーグラフ情報ボトルネック（HIB）原理を提案する。
• HIB原理を微分可能損失関数に定式化し、ハイパーグラフ構造とノード表現のエンドツーエンド学習を支援する。
• 注目メカニズムを統合した学習可能なインシデント行列を用い、ハイパーエッジ接続を動的に調整することで、正しい接続を強化し、誤った接続を抑制する。
• 複数のネットワーク層にわたる反復的構造最適化を実施し、各層で現在の表現に基づいてハイパーグラフ構造を更新する。
• スパarsityを制御するためのマスキング機構を導入し、しきい値εを用いることで、表現力とノイズ低減のバランスを取る。
• 構造最適化と下流タスクの性能の両方をバランスさせる共同最適化目的関数を用いてモデルを訓練する。

実験結果

リサーチクエスチョン

• RQ1 情報ボトルネック原理は、ハイパーグラフ構造データに効果的に拡張可能であり、ノイズや欠損接続に対するロバスト性を向上させることができるか？
• RQ2 HIBを用いたハイパーグラフ構造の最適化は、ハイパーグラフニューラルネットワークの性能と一般化能力をどのように向上させるか？
• RQ3 多層構造学習の影響は、ハイパーグラフベースのモデルにおける表現品質と収束性にどのような影響を及けるか？
• RQ4 α、β、εといった主要ハイパーパrameterは、異なるデータ設定において、本手法の性能にどの程度感度を示すか？
• RQ5 HIBに基づく構造学習フレームワークは、構造的ノイズの程度が異なるグラフ構造データとハイパーグラフ構造データの両方で汎用的に適用可能か？

主な発見

• DeepHGSLは、複数層を用いたYummly10kデータセットで分類精度77.8%を達成し、単層バージョン（75.8%）を上回り、深さの増加に伴い一貫した向上を示す。
• 本手法は構造的ノイズに対してロバストであり、特にα ≤ 0.7かつεが適切に調整された場合、広範なハイパーパrameter値において安定した性能を維持する。
• 4つのベンチマークデータセット（Cora、Citeseer、Yummly10k、DBLP-coauthor）すべてで500イテレーション以内に収束し、標準GPU上での合計トレーニング時間は2分未満である。
• HIB損失目的関数の結果から、初期ハイパーグラフにおける不要な接続の抑制によって、ノード表現におけるノイズ情報が低減されていることが裏付けられる。
• グラフ構造データおよびハイパーグラフ構造データの両方で性能向上が観察され、DeepHGSLフレームワークの汎用性が検証された。
• 計算効率が高く、データセット全体の合計実行時間は40.7～105.3秒であり、実世界の応用において実用的である。