[論文レビュー] Activation Learning by Local Competitions

Hongchao Zhou|arXiv (Cornell University)|Sep 26, 2022

Adversarial Robustness in Machine Learning被引用数 4

ひとこと要約

この論文は、ニューロンレベルの競合に基づく生物学的に妥当な局所的学習ルールであるアクティベーション学習を提案する。この手法により、誤差逆伝播を用いずに深層ネットワークの教師なし事前学習が可能となり、MNISTおよびCIFAR-10で誤差逆伝播と同等の性能を達成する。限られたデータ下でもそれを上回り、分類、生成、異常検出の統合的利用が可能となり、 adversarial 攻撃に対しても耐性が向上する。

ABSTRACT

Despite its great success, backpropagation has certain limitations that necessitate the investigation of new learning methods. In this study, we present a biologically plausible local learning rule that improves upon Hebb's well-known proposal and discovers unsupervised features by local competitions among neurons. This simple learning rule enables the creation of a forward learning paradigm called activation learning, in which the output activation (sum of the squared output) of the neural network estimates the likelihood of the input patterns, or "learn more, activate more" in simpler terms. For classification on a few small classical datasets, activation learning performs comparably to backpropagation using a fully connected network, and outperforms backpropagation when there are fewer training samples or unpredictable disturbances. Additionally, the same trained network can be used for a variety of tasks, including image generation and completion. Activation learning also achieves state-of-the-art performance on several real-world datasets for anomaly detection. This new learning paradigm, which has the potential to unify supervised, unsupervised, and semi-supervised learning and is reasonably more resistant to adversarial attacks, deserves in-depth investigation.

研究の動機と目的

• 誤差逆伝播のグローバルな誤差信号を回避する生物学的に妥当で局所的な学習ルールの開発。
• 単一のフォワード学習フレームワークで教師あり、教師なし、半教師あり学習を統合すること。
• 低データ環境下での性能向上および adversarial 攻撃に対するモデルの耐性強化。
• 同じネットワークで複数の下流タスクをサポートする汎用的かつタスクに依存しない特徴の学習を可能にすること。

提案手法

• 局所的な競合学習ルールにより、ニューロンの活性化差に基づいて重みを更新する：Δw_ij = η y_j (x_i - Σ_k y_k w_ik)，ここで y_j は重み付き入力和であり、和の項が局所的競合を可能にする。
• このルールは非直交な主成分に特徴を分解し、入力の再構成と耐性向上を実現する。
• 大きさを保存する活性化関数により、出力活性化が入力の尤度を推定するようになり、「学習を多くすれば、活性化も増える」挙動が実現される。
• 同じネットワークを分類（出力活性化を最大化）と生成（ランダム性を注入）に使用することで、タスクの多様性を示している。
• この手法は、ラベルなしデータを用いた事前学習をサポートし、その後に誤差逆伝播による微調整により、小さなラベル付きデータセットでの性能向上が可能になる。
• 正答率のフィードバックにより、グローバルな学習率が調整され、アンラーニングのための負例が提供され、分類性能が向上する。

実験結果

リサーチクエスチョン

• RQ1 純粋に局所的で生物学的に妥当な学習ルールが、深層ネットワークにおいて誤差逆伝播と同等の性能を達成できるか？
• RQ2 このようなルールが、教師あり、教師なし、半教師あり学習を統合するフレームワークを可能にするか？
• RQ3 誤差逆伝播の欠如が、adversarial 攻撃やデータ不足に対する耐性を向上させるか？
• RQ4 同じ訓練済みネットワークが分類、画像生成、入力補完といった多様なタスクを実行できるか？
• RQ5 局所的競合から得られる教師なし特徴が、微調整を経て小さなラベル付きデータセットでの性能向上に寄与するか？

主な発見

• 600個のラベル付きサンプルでのMNISTでは、アクティベーション学習がテスト誤差率9.74％を達成し、誤差逆伝播を上回った。
• 60,000個のラベル付き画像を使用した場合、MNISTおよびCIFAR-10で誤差逆伝播と同等の性能を達成し、データオーグメンテーションや正則化なしで実現した。
• 最初の層の教師なし特徴（競合ルールから得る）を用いることで、MNISTのテスト誤差率は、入力そのものの7.23％から2.56％に低下した。
• 局所的競合に基づく事前学習モデルは、一般化性能を向上させ、特にラベル付きデータが少ない場合に顕著に効果を示した—600個のラベル付き画像では、エンドツーエンドの誤差逆伝播を上回った。
• 事前学習モデルの微調整により、すべての設定で最良の性能が得られ、教師なし特徴が下流タスクに有効であることを確認した。
• 実世界の異常検出データセットでも最先端の性能を達成し、本手法の耐性と一般化能力の高さを示した。