[論文レビュー] The Forward-Forward Algorithm: Some Preliminary Investigations

Geoffrey E. Hinton|arXiv (Cornell University)|Dec 27, 2022

Neural Networks and Applications被引用数 117

ひとこと要約

Geoffrey Hinton は Forward-Forward (FF) アルゴリズムを導入します。正のデータ（実データ）と負のデータを用いて多層ネットワークを訓練する二つの前方伝播パス学習手法で、MNIST および CIFAR-10 の小規模設定で競争力のある結果を示し、脳に着想を得た学習や低電力ハードウェアに対するバックプロパagation との潜在的利点を探ります。

ABSTRACT

The aim of this paper is to introduce a new learning procedure for neural networks and to demonstrate that it works well enough on a few small problems to be worth further investigation. The Forward-Forward algorithm replaces the forward and backward passes of backpropagation by two forward passes, one with positive (i.e. real) data and the other with negative data which could be generated by the network itself. Each layer has its own objective function which is simply to have high goodness for positive data and low goodness for negative data. The sum of the squared activities in a layer can be used as the goodness but there are many other possibilities, including minus the sum of the squared activities. If the positive and negative passes could be separated in time, the negative passes could be done offline, which would make the learning much simpler in the positive pass and allow video to be pipelined through the network without ever storing activities or stopping to propagate derivatives.

研究の動機と目的

• 脳の妥当性とリアルタイム処理制約のため、バックプロパゲーションの代替となる学習手続きの必要性を動機づける。
• Forward-Forward (FF) アルゴリズムと、対立目的をもつ二つの前方パスを導入する。
• 小規模問題（MNIST、CIFAR-10）で FF を示し、バックプロパゲーションと比較した性能を分析する。
• 階層ごとの善性（goodness）指標と階層正規化が、バックプロパゲーションなしで多層学習を可能にする方法を示す。
• FF が皮質着想の学習や低電力ハードウェアに有する潜在的利点を議論する。

提案手法

• 層ごとの善性関数（例：活動の二乗和）を定義し、正データ（高善性）と負データ（低善性）の二つの前方パスを用いる。
• 正データの善性を高め、負データの善性を低下させる局所目的で各層を貪欲に訓練する。
• 悪性情報の漏洩を防ぐため、隠れ層の活動をその向きだけパスするよう正規化する（長さは善性の指標として保持され、絶対スケールは保持しない）。
• 善性関数の二乗の善性とその否定の両方を用いた実験を行い、情報漏洩を防ぐために層正規化を適用する。
• さまざまなアーキテクチャのMNIST に対して FF を評価し、各層が 2000 個の ReLU を持つ4層ネットワークを含むバックプロパゲーションのベースラインと比較する。
• 動画的入力に対するリカレント/時系列処理へ FF を拡張し、トップダウン対からの合意を教示信号として議論する。

実験結果

リサーチクエスチョン

• RQ1 Forward-Forward アルゴリズムはバックプロパゲーションなしで意味のある多層表現を学習できるか。
• RQ2 標準的なベンチマーク（MNIST、CIFAR-10）において、FF は小規模設定でバックプロパゲーションと比較してどの程度の性能を示すか。
• RQ3 層正規化と善性関数の選択は、層間情報漏洩を防ぐ上でどのような役割を果たすか。
• RQ4 FF をリカレント設定に拡張して、トップダウンの影響や知覚予測をモデル化できるか。
• RQ5 皮質様学習および低電力ハードウェアの観点から、FF の制約と潜在的利点は何か。

主な発見

• FF は正データと負データを用いて層ごとの目的を持つ多層表現を学習できる。
• MNIST では、FF は監視付きおよび教師なしのバリアントを含む複数の設定で競争力のあるテストエラーを達成し、いくつかの構成ではバックプロパゲーションに近づく結果を示す。
• CIFAR-10 の実験では局所受容野を用いると FF はバックプロパゲーションより劣るが、適切な隠れユニット数と接続性で同等の性能を示す場合がある。
• 再帰処理へ FF を拡張し、トップダウン文脈を教示信号として用いると、リカレント構造の MNIST で妥当な性能を示す。
• FF はバックプロパゲーションを回避することで皮質着想の学習や低電力アナログハードウェアに潜在的な利点を示す一方、今回の小規模タスクではバックプロパゲーションより遅く、一般に精度も低い。