[論文レビュー] Evolving Plasticity for Autonomous Learning under Changing Environmental Conditions

Anil Yaman, Giovanni Iacca+4 more|University of Twente Research Information|Apr 2, 2019

Neural Networks and Applications参考文献 45被引用数 18

ひとこと要約

本論文では、変化する環境条件下で継続的オンライン学習を行う際、人工ニューラルネットワークが自律的に適応できる解釈可能なバイナリ符号化Hebb型可塑性ルールを発見する進化的アプローチを提案する。単純なルールベースのシナプス変更を最適化するために遺伝的アルゴリズムを用い、オフライン最適化（勾配上昇法性能の74％）と同等の性能を達成すると同時に、探索および捕食者・獲物タスクにおける適応行動の洞察を提供する。

ABSTRACT

A fundamental aspect of learning in biological neural networks is the plasticity property which allows them to modify their configurations during their lifetime. Hebbian learning is a biologically plausible mechanism for modeling the plasticity property in artificial neural networks (ANNs), based on the local interactions of neurons. However, the emergence of a coherent global learning behavior from local Hebbian plasticity rules is not very well understood. The goal of this work is to discover interpretable local Hebbian learning rules that can provide autonomous global learning. To achieve this, we use a discrete representation to encode the learning rules in a finite search space. These rules are then used to perform synaptic changes, based on the local interactions of the neurons. We employ genetic algorithms to optimize these rules to allow learning on two separate tasks (a foraging and a prey-predator scenario) in online lifetime learning settings. The resulting evolved rules converged into a set of well-defined interpretable types, that are thoroughly discussed. Notably, the performance of these rules, while adapting the ANNs during the learning tasks, is comparable to that of offline learning methods such as hill climbing.

研究の動機と目的

• 変化する環境条件下で自律的学習を可能にする解釈可能なシナプス可塑性ルールを進化させる手法を開発すること。
• 局所的で生物学的に妥当なHebb型可塑性ルールから一貫したグローバル学習行動を達成する課題に対処すること。
• オンラインで生涯にわたる学習シナリオにおいて高い性能を維持しながら、進化した可塑性ルールの複雑さを低減すること。
• 進化した可塑性ルールが、決定論的（探索）と確率的（捕食者・獲物）な学習環境の両方のタスクダイナミクスにどのように適応するかを調査すること。
• 離散的・バイナリ表現によるルールを用いることで、進化するニューラルネットワークの学習メカニズムの解釈可能性を提供すること。

提案手法

• ペアワイズのニューロン活性化相互作用を符号化する離散的・バイナリ形式でシナプス可塑性ルールを表現する。
• 複数の世代にわたり、遺伝的アルゴリズムを用いてこれらのバイナリルールを進化させ、探索および捕食者・獲物タスクにおけるパフォーマンスを最適化する。
• 進化したルールを用いて、局所的な前シナプスおよび後シナプスニューロンの活性化に基づき、オンラインで生涯にわたるシナプス重みの更新を実行する。
• 各タスクに2つの季節的環境シフトを定義し、動的条件下での適応能力をテストする。
• 進化した可塑性ルールのパフォーマンスを、手作業で設計されたルールおよび勾配上昇法で最適化されたネットワークと比較し、上限パフォーマンスを確立する。
• エージェントの行動を視覚的に分析し、直線的移動と対角線的移動パターンの違いといった、進化したルール戦略の差を解釈する。

実験結果

リサーチクエスチョン

• RQ1 解釈可能なバイナリ符号化Hebb型可塑性ルールを進化させることで、動的環境条件下で自律的かつ生涯にわたる学習を可能にする人工ニューラルネットワークを実現できるか？
• RQ2 決定論的（探索）と確率的（捕食者・獲物）な学習タスクにおいて、進化した可塑性ルールの構造と行動はどのように異なるか？
• RQ3 進化した可塑性ルールは、継続的学習環境において、勾配上昇法のようなオフライン最適化手法にどれほど近いパフォーマンスを達成できるか？
• RQ4 進化した可塑性ルールからどのような行動戦略が生じるのか、またそれらは報酬構造や確率性といった環境ダイナミクスとどのように関連するか？
• RQ5 進化したルールは、変化するタスク条件の下でも高いパフォーマンスを維持しながら、悲観的忘却を回避できるか？

主な発見

• 進化したシナプス可塑性ルール（ESP）は、探索タスクおよび捕食者・獲物タスクの両方で、手作業で最適化された勾配上昇法ネットワークの約74％のパフォーマンスを達成し、オンライン学習において強力な競争力を持つことを示した。
• 探索タスクでは、最良のESPルールが、ネットワークが出力した不適切な結果（否定的強化）のときのみシナプス変更を実行していたため、学習済み知識の上書きを避ける戦略であると示唆された。
• 捕食者・獲物タスクでは、環境の確率的ダイナミクスへの迅速な適応が求められるため、最良のESPルールは学習速度が探索タスクよりも1桁高い（10倍速い）ことが確認された。
• トップパフォーマンスを示したESPルールからは、2つの明確な行動戦略が出現した：1つは手作業で設計されたエージェントに類似した直線的移動パターンであり、もう1つは対角線的移動を好む戦略で、これはランダムに動く捕食者や獲物を回避する上で有利であった。
• 進化したルールは解釈可能であり、タスク間で構造的にも明確に異なることが判明し、進化プロセスがタスク固有の要件に応じてルールの複雑さを適応させたことを示している。
• エージェント行動の視覚的点検により、同じフィットネススコアであっても、異なるESPルールが質的に異なる戦略を示すことが確認され、進化した解決策の多様性が浮き彫りになった。