[論文レビュー] Training recurrent neural networks with sparse, delayed rewards for flexible decision tasks

Thomas Miconi|arXiv (Cornell University)|Jul 31, 2015

Neural Networks and Reservoir Computing参考文献 22被引用数 3

ひとこと要約

本論文は、リアルタイムの誤差信号や専用のフィードバックネットワークを必要とせず、希な遅延報酬のみを用いて再帰的ニューラルネットワーク（RNN）を学習する、生物学的に妥当な報酬変調型ヘブシアン学習則を提案する。この手法は、遅延非一致対象タスクにおいてRNNを効果的に学習させ、刺激から反応へのコード変化を示す動的なタスク関連神経表現を生成し、行動中の動物の皮質活動と類似する。

ABSTRACT

Recurrent neural networks in the chaotic regime exhibit complex dynamics reminiscent of high-level cortical activity during behavioral tasks. However, existing training methods for such networks are either biologically implausible, or require a real-time continuous error signal to guide the learning process. This is in contrast with most behavioral tasks, which only provide time-sparse, delayed rewards. Here we show that a biologically plausible reward-modulated Hebbian learning algorithm, previously used in feedforward models of birdsong learning, can train recurrent networks based solely on delayed, phasic reward signals at the end of each trial. The method requires no dedicated feedback or readout networks: the whole network connectivity is subject to learning, and the network output is read from one arbitrarily chosen network cell. We use this method to successfully train a network on a delayed nonmatch to sample task (which requires memory, flexible associations, and non-linear mixed selectivities). Using decoding techniques, we show that the resulting networks exhibit dynamic coding of task-relevant information, with neural encodings of various task features fluctuating widely over the course of a trial. Furthermore, network activity moves from a stimulus-specific representation to a response-specific representation during response time, in accordance with neural recordings in behaving animals for similar tasks. We conclude that recurrent neural networks, trained with reward-modulated Hebbian learning, offer a plausible model of cortical dynamics during learning and performance of flexible association.

研究の動機と目的

• 連続的な誤差信号を必要としない生物学的に妥当な学習則を開発すること。
• 各試行終了時にのみ与えられる希で瞬間的な報酬信号のみを用いて、RNNが複雑で柔軟な意思決定タスクを学習できるようにすること。
• 専用のフィードバックネットワークや読み出しネットワークを必要とせず、すべての接続を可塑性を持つようにすること。
• このようなネットワークが、行動中の皮質記録で観察されるのと同様の動的でタスク関連の神経コードを示すかどうかを調査すること。
• 報酬変調型ヘブシアン学習が、記憶、非線形的関連性、柔軟な行動を示すネットワークを生成できることを示すこと。

提案手法

• 本手法は報酬変調型ヘブシアン学習則を採用し、シナプス重みの変化が、事前に発火したニューロンの活動、その後に発火したニューロンの活動、および遅延した報酬信号の積に依存する。
• ネットワークは、記憶と柔軟な関連性を必要とする遅延非一致対象タスクで学習され、報酬は各試行の終了時にのみ与えられる。
• 出力をネットワーク内から任意に選ばれた1つのニューロンから読み取ることで、別個の読み出しネットワークやフィードバック機構を不要にする。
• 再帰的接続を含むすべてのネットワーク接続が学習対象であり、報酬フィードバックのみでエンドツーエンドの学習が可能になる。
• デコーディング技術を用いて、時間経過に伴うタスク特徴の動的な表現を分析し、神経コードの変化を明らかにする。
• バックプロパゲーションやリアルタイムの誤差信号を用いず、生物学的妥当性に適合する。

実験結果

リサーチクエスチョン

• RQ1 生物学的に妥当な報酬変調型ヘブシアン学習則は、連続的な誤差信号を必要とせず、希で遅延した報酬信号のみを用いて、再帰的ニューラルネットワークを複雑で柔軟な意思決定タスクに学習させられるか？
• RQ2 その結果得られるネットワークは、試行中に刺激特異的から反応特異的表現へと変化する動的神経コードを示すか？
• RQ3 専用のフィードバックネットワークや読み出しネットワークを必要とせず、非線形的混合選択性を学習し、遅延中に記憶を維持できるか？
• RQ4 ネットワークの内部表現は、類似した行動タスクを遂行する行動中の動物の皮質記録で観察されたものとどのように比較できるか？
• RQ5 連続的な誤差信号を一切用いずに、瞬間的な報酬信号のみでRNNにおいて柔軟な関連性学習を達成できるか？

主な発見

• ネットワークは、各試行終了時にのみ与えられる希で瞬間的な報酬信号のみを用いて、遅延非一致対象タスクを効果的に学習した。
• 神経活動は動的にタスク関連情報をコード化し、試行の進行に従い、刺激特異的から反応特異的表現へと変化した。
• ネットワークは非線形的混合選択性を示し、遅延中に記憶を維持し、柔軟な意思決定を示した。
• デコーディング解析により、タスク特徴がネットワーク活動の変動する時間的パターンに表現されていることが確認された。
• 学習則により、フィードバックや読み出しネットワークを必要とせず、すべての接続が可塑性を持ち、報酬変調型ヘブシアン可塑性によって学習されたエンドツーエンドの学習が可能になった。
• 得られたネットワークのダイナミクスは、同様のタスクを遂行する行動中の動物の皮質記録で観察されたものと非常に類似していた。