[論文レビュー] A Modern Self-Referential Weight Matrix That Learns to Modify Itself

Kazuki Irie, Imanol Schlag+2 more|arXiv (Cornell University)|Feb 11, 2022

Neural Networks and Applications被引用数 15

ひとこと要約

この論文は、外部積とデルタ更新則を用いて推論中に自身の重みを自律的に変更できる現代的な自己参照重み行列（SRWM）を導入する。これにより再帰的自己改善が可能となる。少数の例での学習および手続き的生成環境を用いたマルチタスク強化学習の設定で評価された結果、SRWMは競争力ある性能を示し、自己変更可能なニューラルネットワークの実用的応用を実証した。

ABSTRACT

The weight matrix (WM) of a neural network (NN) is its program. The programs of many traditional NNs are learned through gradient descent in some error function, then remain fixed. The WM of a self-referential NN, however, can keep rapidly modifying all of itself during runtime. In principle, such NNs can meta-learn to learn, and meta-meta-learn to meta-learn to learn, and so on, in the sense of recursive self-improvement. While NN architectures potentially capable of implementing such behaviour have been proposed since the '90s, there have been few if any practical studies. Here we revisit such NNs, building upon recent successes of fast weight programmers and closely related linear Transformers. We propose a scalable self-referential WM (SRWM) that learns to use outer products and the delta update rule to modify itself. We evaluate our SRWM in supervised few-shot learning and in multi-task reinforcement learning with procedurally generated game environments. Our experiments demonstrate both practical applicability and competitive performance of the proposed SRWM. Our code is public.

研究の動機と目的

• 推論時における自身の重み行列の再帰的自己変更が可能なニューラルネットワークアーキテクチャの開発。メタラーニングと継続的適応を可能にする。
• 従来のニューラルネットワークが学習後には変更できない固定重み行列の制限を克服すること。
• 高速重みプログラミングと線形トランスフォーマーメカニズムを基盤とし、スケーラブルで自己参照的な重み行列（SRWM）を構築すること。
• 少数の例での学習や手続き的環境を用いたマルチタスク強化学習といった実用的で現実世界の学習シナリオにおけるSRWMの評価。
• 人為的な再訓練やファインチューニングを必要とせずに、自己変更可能なネットワークが競争力ある性能を達成できることの実証。

提案手法

• SRWMは、入力トークンからトレーニング可能な重み行列を介して、キーワード、値、クエリ、および学習率（β）を生成するスローネットワークを用いる。
• デルタ更新則を適用：Wₜ = Wₜ₋₁ + σ(βₜ)(vₜ − v̄ₜ) ⊗ φ(kₜ)、ここでv̄ₜは過去の重みと現在のキーワードに基づく予測されたターゲット更新である。
• 重み行列は、値ベクトルとキーワード活性化関数φ(kₜ)との逐次的外部積により更新され、迅速で文脈依存の重み変更が可能となる。
• モデルは初期重みのみを勾配降下法で訓練する。その後のすべての重み変更は推論時に自己生成される。
• アーキテクチャは高速重みプログラミングと線形トランスフォーマーにインspiredされており、重み行列自体の自己参照的性質が主な革新点である。
• SRWMは3つの設定で評価された：少数の例での分類、逐次的マルチタスク学習、ProcGenを用いたマルチタスク強化学習。

実験結果

リサーチクエスチョン

• RQ1 推論時に固定または外部から更新される重みに依存せずに、ニューラルネットワークが自身の重み行列を自己参照的に変更できるか？
• RQ2 提案されたSRWMは、標準モデルと比較して少数の例での学習タスクで競争力ある性能を達成できるか？
• RQ3 マルチタスク設定において、推論時にタスク分布の変化に動的に適応できるか？
• RQ4 マルチタスク強化学習の設定において、多様で手続き的に生成された環境へ一般化できるか？
• RQ5 再帰的自己変更は、動的な環境における学習効率と適応性をどの程度向上させるか？

主な発見

• SRWMは標準的な少数の例での学習ベンチマークで競争力ある性能を達成し、効果的な自己変更の能力を示した。
• 逐次的マルチタスク学習では、再トレーニングや外部干渉なしに推論時に新しいタスクに重みを適応させることに成功した。
• ProcGen環境を用いたマルチタスク強化学習でも、競争力ある性能を示し、多様で手続き的に生成されたゲームレベルに対して高い頑健性を示した。
• SRWMの自己変更メカニズムにより、キーワード、値、学習率の学習済みパターンを介して、迅速で文脈依存の重み更新が可能となった。
• タスク分布が推論中に変化しても性能が安定し、一般化が良好に機能しており、強力な適応性を示した。
• 結果から、自己参照的重み行列は高速重みプログラミングや線形アテンションといった現代のディープラーニング技術を用いて、実用的かつスケーラブルに実装可能であることが確認された。