[論文レビュー] Graph Neural Networks Go Forward-Forward

Daniele Paliotta, Mathieu Alain+2 more|arXiv (Cornell University)|Feb 10, 2023

Advanced Graph Neural Networks被引用数 4

ひとこと要約

本稿では、バックプロパゲーションに代わる前向きパスのみの手順を用いて、正例および負例のグラフサンプルを用いることで、グラフニューラルネットワーク（GNN）の訓練を可能にする新しい手法、Graph Forward-Forward（GFF）を提案する。GFFは、正例グラフにおける適合度を最大化し、負例グラフにおける適合度を最小化することで、層ごとに貪欲にGNNを訓練する。バックプロパゲーションと同等の性能を達成する一方で、生物学的妥当性が向上し、メモリ使用量が削減される。

ABSTRACT

We present the Graph Forward-Forward (GFF) algorithm, an extension of the Forward-Forward procedure to graphs, able to handle features distributed over a graph's nodes. This allows training graph neural networks with forward passes only, without backpropagation. Our method is agnostic to the message-passing scheme, and provides a more biologically plausible learning scheme than backpropagation, while also carrying computational advantages. With GFF, graph neural networks are trained greedily layer by layer, using both positive and negative samples. We run experiments on 11 standard graph property prediction tasks, showing how GFF provides an effective alternative to backpropagation for training graph neural networks. This shows in particular that this procedure is remarkably efficient in spite of combining the per-layer training with the locality of the processing in a GNN.

研究の動機と目的

• グラフニューラルネットワークのための生物学的に妥当で、バックプロパゲーションを必要としない訓練手法の開発。
• ノード特徴を伴うグラフ構造データに、Forward-Forwardアルゴリズムを拡張すること。
• 勾配計算と計算量の多いバックワードパスを回避し、前方伝搬のみを用いてGNNを訓練可能にする。
• 標準的なグラフ性質予測ベンチマークでGFFの性能と効率を評価し、従来のバックプロパゲーションと比較すること。
• 適合度関数や負例サンプル生成戦略の違いがGNN訓練に与える影響を調査すること。

提案手法

• GFFは、ノード活性化の集約に基づく適合度関数を定義することで、Forward-Forwardアルゴリズムをグラフに拡張する。一般的には、各層における活性化の二乗和を用いる。
• 正例および負例のグラフサンプルは、それぞれノード特徴に正しいまたは誤ったラベル符号化を追加することで生成される。
• モデルは貪欲に層ごとに訓練される：各層のパラメータは、正例グラフで適合度を最大化し、負例グラフで適合度を最小化するように更新される。
• 本手法は任意のメッセージパッシングGNNアーキテクチャと互換性があり、層間で微分可能でないコンponentを必要としない。
• 負例は、既存のグラフに誤ったラベルを割り当てることで生成され、仮想ノードなどのグラフ拡張（例：仮想ノード）といった代替戦略も検討されている。
• 本手法はすべての活性化を保存しないため、バックプロパゲーションと比較して顕著にメモリ使用量が削減される。

実験結果

リサーチクエスチョン

• RQ1 ノード特徴を伴うグラフ構造データに、Forward-Forwardアルゴリズムを効果的に拡張できるか？
• RQ2 GFFは、グラフ性質予測タスクにおいて、従来のバックプロパゲーションと比較してどの程度の性能を示すか？
• RQ3 GNN訓練において、GFFはバックプロパゲーションに比べて計算およびメモリ上の何らかの利点を有するか？
• RQ4 適合度関数や負例サンプル生成方法の選択が、GFFの性能にどのように影響を与えるか？
• RQ5 トップダウンの勾配フローが存在しないにもかかわらず、GFFは長距離依存関係を効果的に捉えることができるか？

主な発見

• GFFは11の標準的なグラフ性質予測データセットにおいて、バックプロパゲーションと同等の性能を達成しており、代替訓練手法としての有効性を示している。
• GFFのメモリ消費量は、バックプロパゲーションに比べて顕著に低く、特に深層ネットワークにおいて顕著である。これは、アクティベーションを事前にキャッシュするのではなく、実行時に即座に保管するためである。
• 各層の訓練とメッセージパッシングGNNの局所的インダクティブバイアスを組み合わせても、本手法は依然として有効である。
• 適合度関数として二乗和活性化の和を用いることで強力な結果が得られ、他の集約方法を用いることでさらなる性能向上が可能である可能性がある。
• トップダウンの情報フローの欠如により、長距離依存関係が初期層に適切に伝わらないことが判明し、アーキテクチャの強化が求められる。
• ラベルの不正化による負例生成は有効であるが、仮想ノードなどのグラフ拡張技術は、長距離タスクにおいて性能向上に寄与する可能性がある。