[論文レビュー] HoloNets: Spectral Convolutions do extend to Directed Graphs

Christian Koke, Daniel Cremers|arXiv (Cornell University)|Oct 3, 2023

Advanced Graph Neural Networks被引用数 4

ひとこと要約

この論文は、グラフ・フォーリエ変換に依存しないことで、有向グラフへのスペクトル畳み込みを拡張する新しいフレームワーク、HoloNetsを提案する。複素解析およびスペクトル理論の道具を用い、有向グラフ上の可学習フィルタをリゾルベントに基づく演算子によって定式化し、異種接続性ノード分類において最先端の性能と、トポロジカルな摂動に対する頑健性を達成した。

ABSTRACT

Within the graph learning community, conventional wisdom dictates that spectral convolutional networks may only be deployed on undirected graphs: Only there could the existence of a well-defined graph Fourier transform be guaranteed, so that information may be translated between spatial- and spectral domains. Here we show this traditional reliance on the graph Fourier transform to be superfluous and -- making use of certain advanced tools from complex analysis and spectral theory -- extend spectral convolutions to directed graphs. We provide a frequency-response interpretation of newly developed filters, investigate the influence of the basis used to express filters and discuss the interplay with characteristic operators on which networks are based. In order to thoroughly test the developed theory, we conduct experiments in real world settings, showcasing that directed spectral convolutional networks provide new state of the art results for heterophilic node classification on many datasets and -- as opposed to baselines -- may be rendered stable to resolution-scale varying topological perturbations.

研究の動機と目的

• スペクトルグラフネットワークが、グラフ・フォーリエ変換を正しく定義できる必要があるため、長年にわたり無向グラフに限定されてきたという根本的制限を克服すること。
• 自己随伴作用素や固有値分解に依存しない、有向グラフにおけるスペクトル畳み込みの理論的に整合性のあるフレームワークを構築すること。
• 有向グラフにおけるフィルタ設計における基底の選択と特徴的演算子の役割を調査すること。
• 特にトポロジカルな摂動が生じる状況を想定し、実世界のデータセットを用いて新しいフレームワークの実証的妥当性を検証すること。
• 有向グラフにおける異種接続性ノード分類タスクにおいて、一般化性能と安定性の向上を示すこと。

提案手法

• 複素数 $ z $ に対するリゾルベント作用素 $ R_z(L) = (L - zI)^{-1} $ を用いた、リゾルベントに基づくスペクトルフレームワークに、従来のグラフ・フォーリエ変換を置き換える。
• スペクトルフィルタをリゾルベントの関数として定義し、非自己随伴作用素に対しても周波数応答の解釈を可能にする。
• 複素解析およびスペクトル理論を用いて、有向グラフ上でのフィルタの数学的整合性と安定性を保証する。
• 一般化固有ベクトルまたはその他のスペクトル分解を基底として用い、フィルタの表現を表記し、モデル性能への影響を分析する。
• ノード特徴をグラフレベルの表現に統合するためのグラフレベル集約スキーム $ \Omega $ を導入する。
• 実世界の分子グラフ（QM7データセット）にフレームワークを適用し、原子電荷とクーロン重みを用いてノードおよびエッジ重みを定義する。

実験結果

リサーチクエスチョン

• RQ1 グラフ・フォーリエ変換に依存せずに、有向グラフへのスペクトル畳み込みを意味的に拡張できるか？
• RQ2 基底や特徴的演算子の異なる選択肢が、有向グラフ上でのスペクトルフィルタの表現力と安定性にどのように影響するか？
• RQ3 トポロジカルな摂動がモデル性能に与える影響は何か？ また、提案されたフレームワークは、その影響に対して頑健性を示せるか？
• RQ4 新しいフレームワークは、有向グラフにおける異種接続性ノード分類で最先端の性能を達成できるか？
• RQ5 リゾルベントに基づくアプローチは、既存のスペクトル的手法および空間的手法と比較して、安定性および一般化性能において優れているか？

主な発見

• HoloNetsは、QM7を含む複数のベンチマークデータセットにおいて、異種接続性ノード分類で新たな最先端性能を達成した。
• 従来のベースラインとは異なり、分子グラフにおける水素原子のずれといった解像度スケールのトポロジカル摂動に対しても、安定性を示した。
• 実験における異なるランダムシードでの一貫性ある性能から、未観測のグラフへの一般化が成功したことが裏付けられた。
• リゾルベントに基づくフィルタの使用により、非自己随伴作用素に対しても周波数応答の解釈が可能となり、理論的基盤の妥当性が裏付けられた。
• 集約 $ \Omega $ と原子電荷によるノード重み付けにより、特に粗粒度な設定において効果的なグラフレベル表現が得られた。
• リゾルベント $ R_{-1}(\Delta) = (\Delta + I)^{-1} $ における $ z = -1 $ の選択が、実用的に安定で効果的なフィルタリング行動をもたらした。