[論文レビュー] Finding online neural update rules by learning to remember

Karol Gregor|arXiv (Cornell University)|Mar 6, 2020

Domain Adaptation and Few-Shot Learning参考文献 50被引用数 6

ひとこと要約

本論文は、バックプロパゲーションや進化的手法に依存せずに、過去の経験を記憶するメタネットワークを訓練することで、活性化および重みのオンラインニューラル更新ルールを学習する新規手法を提案する。このアプローチでは、ニューロンの種類に学習可能な埋め込みを用い、記憶目的関数に基づく短期的なバックプロパゲーションにより更新関数を訓練する。その結果、生物学的に妥当な学習ルールが得られ、ネットワークサイズやタスクの違いを越えて一般化する。

ABSTRACT

We investigate learning of the online local update rules for neural activations (bodies) and weights (synapses) from scratch. We represent the states of each weight and activation by small vectors, and parameterize their updates using (meta-) neural networks. Different neuron types are represented by different embedding vectors which allows the same two functions to be used for all neurons. Instead of training directly for the objective using evolution or long term back-propagation, as is commonly done in similar systems, we motivate and study a different objective: That of remembering past snippets of experience. We explain how this objective relates to standard back-propagation training and other forms of learning. We train for this objective using short term back-propagation and analyze the performance as a function of both the different network types and the difficulty of the problem. We find that this analysis gives interesting insights onto what constitutes a learning rule. We also discuss how such system could form a natural substrate for addressing topics such as episodic memories, meta-learning and auxiliary objectives.

研究の動機と目的

• バックプロパゲーションや進化に依存せずに、スクラッチからオンラインで局所的な更新ルールを発見すること。
• 記憶ベースの目的関数が、学習ルールを学ぶためのより扱いやすく生物学的に妥当な信号として機能するかどうかを検討すること。
• ニューロンの種類にわたる共有メタパラメータが、学習ルールの一般化をどのように支援するかを調査すること。
• このような学習済みの更新ルールがネットワークサイズに応じてスケーリング可能で、多様な学習タスクをサポートできるかどうかを分析すること。
• 今後のエピソード記憶、メタラーニング、および補助目的に関するニューラルネットワーク分野の研究の基盤を築くこと。

提案手法

• ニューロンの活性化およびシナプス状態を小さなベクトルとして表現し、(メタ-)ニューラルネットワークによってその更新をパラメータ化する。
• 異なるニューロンの種類に学習可能な埋め込みベクトルを用い、ニューロンの種類を越えて同じ更新ルール関数を共有する。
• 過去の経験スニペットを記憶することに注力した短期的バックプロパゲーション目的関数を用いて、更新ルールを訓練する。
• 更新プロセスを、局所的な前後シナプス状態および埋め込みにのみ依存する、局所的・シナプス的・ニューロン的更新関数に分解する。
• すべてのニューロンに同じメタネットワークを適用し、タイプに特化した埋め込みが更新ダイナミクスを調整する。
• 内部状態が大きくても、メタパラメータの数が少ないため、ハイパーネットワークに類似した再帰的ネットワークアーキテクチャを用いる。

実験結果

リサーチクエスチョン

• RQ1 長期間のシーケンスに対して直接のバックプロパゲーションを用いずに、記憶ベースの目的関数がニューラル更新ルールを効果的に訓練できるか。
• RQ2 1つのメタパラメータセットが、異なるネットワークサイズやタスクにどの程度一般化できるか。
• RQ3 ニューロンの種類の埋め込みが、学習済みの更新ルールおよびその一般化能力にどのように影響するか。
• RQ4 学習して記憶する目的関数と、標準的なバックプロパゲーションや他の学習パラダイムとの関係は何か。
• RQ5 このフレームワークが、エピソード記憶、メタラーニング、または補助目的のための基盤として機能できるか。

主な発見

• 学習して記憶する目的関数は、異なるネットワークサイズやタスクに一般化する更新ルールを効果的に訓練した。これは、学習の核となる側面を捉えている可能性を示唆する。
• 小さなネットワークでも、シーケンス記憶タスクで優れた性能を達成した。これは、限られた容量の中でもルールが有効であることを示している。
• ネットワークサイズの増加に伴って性能が向上しなかった。これはスケーリングの限界を示しており、入力層の自己結合への過剰依存が原因である可能性がある。
• 最適化の課題が観察され、大きなネットワークほど小さなネットワークより学習がうまくいかなかった。これは訓練の不安定性を示している。
• 本手法は、有効な学習ルールが何を含むべきかに関する洞察を提供し、一般化とパラメータ効率性の重要性を強調した。
• 本手法は、エピソード記憶やメタラーニングの自然な基盤を提供する。これは、現在の実験を越えて、より広範な応用可能性を示唆している。