[論文レビュー] Learning on Arbitrary Graph Topologies via Predictive Coding

Tommaso Salvatori, Luca Pinchetti+5 more|arXiv (Cornell University)|Jan 31, 2022

Functional Brain Connectivity Studies被引用数 9

ひとこと要約

この論文は、予測符号化（PC）と呼ばれる生物学的に妥当な学習アルゴリズムを用いて、任意の有向グラフ構造上で学習と推論を可能にするPCグラフというフレームワークを導入する。局所的な誤差駆動更新と柔軟なノード照会を活用することで、再訓練を伴わずに同時に分類、生成、連想記憶のタスクを実行でき、部分的またはラベル付きの画像といった多様な入力構造において、標準的な誤差逆伝播法のベースラインを上回る性能を発揮する。

ABSTRACT

Training with backpropagation (BP) in standard deep learning consists of two main steps: a forward pass that maps a data point to its prediction, and a backward pass that propagates the error of this prediction back through the network. This process is highly effective when the goal is to minimize a specific objective function. However, it does not allow training on networks with cyclic or backward connections. This is an obstacle to reaching brain-like capabilities, as the highly complex heterarchical structure of the neural connections in the neocortex are potentially fundamental for its effectiveness. In this paper, we show how predictive coding (PC), a theory of information processing in the cortex, can be used to perform inference and learning on arbitrary graph topologies. We experimentally show how this formulation, called PC graphs, can be used to flexibly perform different tasks with the same network by simply stimulating specific neurons, and investigate how the topology of the graph influences the final performance. We conclude by comparing against simple baselines trained~with~BP.

研究の動機と目的

• 標準的なディープラーニングにおける誤差逆伝播法の制限を克服し、循環的で、かつ非階層的な構造を含む任意のグラフトポロジー上で動作する学習フレームワークの開発。
• 特定のノードを条件付けることで、再訓練なしに分類、生成、連想記憶といった複数のタスクを1つのニューラルネットワークが実行可能にする。
• 予測符号化が、脳に類似した複雑なネットワークアーキテクチャ上でエンドツーエンド学習を可能にする生物学的に妥当な誤差逆伝播法の代替手段としての実現可能性を示すこと。
• グラフトポロジーがモデル性能に与える影響を調査し、入力構造が異なるタスクにおいてPCグラフと標準的な誤差逆伝播法ベースラインを比較すること。

提案手法

• 任意の有向グラフに一般化された予測符号化を導入するPCグラフを提案。各ノードは予測値と誤差信号を維持する。
• 元のRao-Ballard予測符号化フレームワークに基づく局所的な誤差駆動型シナプス更新を用い、グローバルな誤差逆伝播を必要とせず学習を可能にする。
• 特定のノード（例：入力ノード、ラベルノード、再構成ノード）を条件付けることで、分類や生成といった異なるタスクを柔軟に実行可能にする。
• 固定点反復スキームを用いてグラフ全体で予測値と誤差を収束させ、1回のフォワードパスで推論と学習を同時に行う。
• MNISTおよびFashionMNISTを用いた画像タスクにこの手法を適用。再構成ノイズの除去にtop-kクラスタリングを活用。
• 同じアーキテクチャ上で標準的な誤差逆伝播法ベースラインと性能を比較し、入力フォーマットの多様性にわたる汎化性能と耐障害性を評価。

実験結果

リサーチクエスチョン

• RQ1 循環的で、非階層的な接続を含む任意の有向グラフトポロジーに対し、予測符号化を一般化できるか？
• RQ2 入力の条件付けを変えるだけで、分類、生成、連想記憶といった複数の機械学習タスクを1つのPCグラフモデルが実行できるか？
• RQ3 グラフのトポロジーがPCグラフの性能に与える影響は、標準的な誤差逆伝播法モデルと比較してどのように現れるか？
• RQ4 PCグラフは、生物学的妥当性と計算効率を維持しつつ、誤差逆伝播法と同等の性能を達成できるか、その程度はどの程度か？

主な発見

• PCグラフは、循環的で、小世界的構造を含む任意のグラフトポロジー上で、推論と学習を成功裏に実行可能であり、これらは標準的な誤差逆伝播法では実現不可能である。
• 同じネットワークを、ラベル付きで分類する、ノイズから生成する、部分的な入力からの再構成を行うなど、複数の方法で照会可能であり、再訓練を必要としない。
• 最後のクラスタにおけるtop-k活性化が、ノイズを除去することで再構成品質を著しく向上させ、不完全な入力に対しても耐性があることを示している。
• MNISTおよびFashionMNISTにおいて、分類、生成、連想記憶の各タスクで競争力ある性能を発揮し、柔軟な照会シナリオでは標準的な誤差逆伝播法ベースラインを上回っている。
• エネルギーベースの計算を用いて、同じチップ上でエンドツーエンド学習が可能であり、超低消費電力の神経形状ハードウェアへの展開可能性を示唆している。