[論文レビュー] Can Hybrid Geometric Scattering Networks Help Solve the Maximum Clique Problem?

Yimeng Min, Frederik Wenkel+2 more|arXiv (Cornell University)|Jun 3, 2022

Advanced Graph Neural Networks被引用数 4

ひとこと要約

本論文は、NP困難な最大クリーク（MC）問題の解を効率的に近似するためのハイブリッド幾何的スキャatteringベースのグラフニューラルネットワーク（GNN）を提案する。バンドパスウェーブレットフィルタとGCN型畳み込みを組み合わせることで、過剰な平滑化問題を軽減し、正確なノード表現学習を可能にした。モデルは最先端の精度と推論速度を達成しており、従来のGNNの0.04–0.07%のパラメータで、大規模で複雑なグラフにおいてGurobiやヒューリスティックソルバーを上回っている。

ABSTRACT

We propose a geometric scattering-based graph neural network (GNN) for approximating solutions of the NP-hard maximum clique (MC) problem. We construct a loss function with two terms, one which encourages the network to find highly connected nodes and the other which acts as a surrogate for the constraint that the nodes form a clique. We then use this loss to train an efficient GNN architecture that outputs a vector representing the probability for each node to be part of the MC and apply a rule-based decoder to make our final prediction. The incorporation of the scattering transform alleviates the so-called oversmoothing problem that is often encountered in GNNs and would degrade the performance of our proposed setup. Our empirical results demonstrate that our method outperforms representative GNN baselines in terms of solution accuracy and inference speed as well as conventional solvers like Gurobi with limited time budgets. Furthermore, our scattering model is very parameter efficient with only $\sim$ 0.1\% of the number of parameters compared to previous GNN baseline models.

研究の動機と目的

• 深層学習を用いてNP困難な最大クリーク（MC）問題を効率的に解く挑戦に取り組むこと。
• クリーク探索タスクにおけるノード識別性を損なう標準GNNの過剰な平滑化問題を克服すること。
• 大規模かつ複雑なグラフにおいて、高い精度でMCを近似できる、パラメータ効率的で高速な推論モデルを設計すること。
• 幾何的スキャタリング変換を活用して、クリーク検出のためのノード表現の識別性を向上させること。
• 教師なしGNN学習と制約を保全するデコーダーを組み合わせた2段階フレームワークを構築すること。

提案手法

• モデルは、グラフ畳み込みネットワーク（GCN）と幾何的スキャタリングフィルタをハイブリッド的に組み合わせ、グラフ構造からのマルチスケールでバンドパスな特徴を抽出する。
• 2項の損失関数が用いられる：1つの項は予測ノードの高い接続性を促進し、もう1つの項はクリーク制約の代理として機能する。
• スキャタリング変換は、構造的境界を保持するウェーブレットベースのフィルタを組み込み、過剰な平滑化を低減し、ノード表現の差別化を向上させる。
• ノード表現は、[0,1]^n 内の確率ベクトルとして学習され、それが最大クリークに属する可能性を示す。
• ルールベースのグリーディデコーダーが、最も確率の高いノードを選択することで、最終的なクリークを抽出し、予測後にクリーク制約を強制する。
• モデルは微分可能損失関数を用いてエンドツーエンドで訓練され、ターゲット問題のNP困難性にもかかわらず、効率的な最適化が可能になる。

実験結果

リサーチクエスチョン

• RQ1 幾何的スキャタリングベースのGNNアーキテクチャは、組合せ最適化タスクにおけるグラフニューラルネットワークの過剰な平滑化問題を効果的に緩和できるか？
• RQ2 バンドパスウェーブレットフィルタを組み込むことで、複雑なグラフにおける最大クリークの特定に向けたノード表現の質が向上するか？
• RQ3 最小限のパラメータを有するハイブリッドGNNは、最先端のGNNやGurobiのような従来のソルバーと比較して、優れた推論速度と精度を達成できるか？
• RQ4 本モデルの性能は、異なるグラフの複雑さレベル（簡単、中程度、困難）においてどのようにスケーリングするか？
• RQ5 制約を保全するデコーダーを用いることで、標準的なデコーディング戦略と比較して、解の品質はどの程度向上するか？

主な発見

• LARGE-hardデータセットでは、モデルは0.975 ± 0.050の近似スコアを達成し、他のすべてのニューラルネットワークベースラインを上回った。
• LARGE-hardデータセットにおいて、モデルはRUN-CSP（正確なソルバー）の12倍速く解を推論した。
• 同じデータセットにおいて、Gurobiとヒューリスティック（Xu et al., 2005）は高い精度を達成したが、それぞれ131倍および49倍の長い推論時間を要した。
• COLLABデータセットでは、モデルは1,001パラメータを用い、ErdösのGNNベースラインの1,880,709パラメータのわずか0.05%にとどまった。
• IMDBデータセットでは、モデルは705パラメータで0.972 ± 0.259の近似スコアを達成し、速度と精度の両面でGNNベースラインを著しく上回った。
• ハイブリッドスキャタリングモデルは、すべてのサブデータセット（簡単、中程度、困難）で高い性能を維持したが、特に中程度および困難なインスタンスで最大の性能差が観察された。