[論文レビュー] Modelling continual learning in humans with Hebbian context gating and exponentially decaying task signals

Timo Flesch, Dávid Nagy+2 more|arXiv (Cornell University)|Mar 22, 2022

Domain Adaptation and Few-Shot Learning被引用数 5

ひとこと要約

この論文は、ヘブ学習的コンテキストゲーティングと指数的減衰するタスク信号を統合することで、人工ニューラルネットワークにおける継続的学習を可能にする生物学的にインspiredな深層学習モデルを提案する。『ゆっくりした』タスクユニットと、タスクユニットと隠れユニット間の接続を強化するヘブ学習則を導入することで、順次的タスク学習における災難的忘却を防止し、特にカテゴリー境界の誤推定に関して、ブロック型対照型の学習の両方の実験で人間の行動データを正確に再現する。

ABSTRACT

Humans can learn several tasks in succession with minimal mutual interference but perform more poorly when trained on multiple tasks at once. The opposite is true for standard deep neural networks. Here, we propose novel computational constraints for artificial neural networks, inspired by earlier work on gating in the primate prefrontal cortex, that capture the cost of interleaved training and allow the network to learn two tasks in sequence without forgetting. We augment standard stochastic gradient descent with two algorithmic motifs, so-called "sluggish" task units and a Hebbian training step that strengthens connections between task units and hidden units that encode task-relevant information. We found that the "sluggish" units introduce a switch-cost during training, which biases representations under interleaved training towards a joint representation that ignores the contextual cue, while the Hebbian step promotes the formation of a gating scheme from task units to the hidden layer that produces orthogonal representations which are perfectly guarded against interference. Validating the model on previously published human behavioural data revealed that it matches performance of participants who had been trained on blocked or interleaved curricula, and that these performance differences were driven by misestimation of the true category boundary.

研究の動機と目的

• 標準的な深層ネットワークでは干渉が生じるにもかかわらず、人間が順次的に複数のタスクを学習する際に干渉を最小限に抑える仕組みを説明すること。
• 災難的忘却を伴わず、人間のような継続的学習を再現できる生物学的に妥当な深層学習フレームワークを開発すること。
• ブロック型対照型のタスク学習における人間実験でのパフォーマンス差を説明すること。
• 特にカテゴリー境界の誤推定に関連する、タスク間切り替えの認知的コストをモデル化すること。
• 発表済みの人間の行動データ（タスク学習と干渉）に対して、モデルを検証すること。

提案手法

• 時間とともにゆっくり変化する『ゆっくりした』タスクユニットを組み込み、インターリーブ型学習の際の切り替えコストを導入した。
• タスクユニットとタスク関連情報をエンコードする隠れユニット間の接続を強化するヘブ則を適用した。
• 人間認知におけるタスクコンテキストの一時的性質を模倣するために、指数的減衰するタスク信号を用いた。
• 標準的な確率的勾配降下法に、これらの2つのアルゴリズム的モチーフを組み込み、表現学習を誘導した。
• タスクユニットが隠れ表現をゲーティングするようにネットワークを設計し、タスク間で直交的で干渉のない表現を促進した。
• 人間のデータとモデル行動を比較するため、ブロック型とインターリーブ型の両方の学習レジームをシミュレートした。

実験結果

リサーチクエスチョン

• RQ1 標準的な深層ネットワークでは干渉が生じるにもかかわらず、人間はなぜ順次的タスク学習において災難的干渉を回避できるのか？
• RQ2 人間学習におけるブロック型対照型の学習のパフォーマンス差の背後にある計算的メカニズムは何か？
• RQ3 生物学的にインスパイアされたニューラルネットワークモデルは、人間の行動パターンを継続的学習タスクで再現できるか？
• RQ4 ゆっくりしたタスクユニットとヘブ可塑性の相互作用は、順次的学習における干渉をどのように低減するのか？
• RQ5 なぜ人間はインターリーブ型学習においてカテゴリー境界を誤って推定するのか？そして、これを計算的に捉えることは可能か？

主な発見

• モデルは、ブロック型対照型の学習条件における人間の行動パフォーマンスの差を成功裏に再現した。
• 『ゆっくりした』タスクユニットは、インターリーブ型学習の際、統合的でコンテキスト無視の解に偏る切り替えコストを導入した。
• ヘブ学習ステップにより、干渉を防ぐ直交的タスク表現を生み出すゲーティング機構が形成された。
• モデルのパフォーマンスは、カテゴリー境界推定タスクにおいて人間参加者と密接に一致した。
• 人間データにおけるパフォーマンス差の主な要因は、真のカテゴリー境界の誤推定であると特定され、モデルはそのゲーティングダイナミクスによってこれを捉えた。
• 補足的分析により、複数のシミュレーション条件下でもモデルの予測が堅牢であることが確認された。