[論文レビュー] Thalamus: a brain-inspired algorithm for biologically-plausible continual learning and disentangled representations

Ali Hummos|arXiv (Cornell University)|May 24, 2022

Domain Adaptation and Few-Shot Learning被引用数 9

ひとこと要約

Thalamusは、継続的学習のための脳にインspiredされたアルゴリズムを提案する。このアルゴリズムは、推論時最適化を用いて、タスク固有の潜在埋め込みを動的に生成することで、タスクラベルなしで分離可能な表現と文脈に応じた行動制御を実現する。重み更新と勾配ベースの潜在変数更新を交互に実行することで、知識の転送と最小限の忘却を伴いながら、オープンエンドで教師なしの設定でも頑健な継続的学習を達成する。

ABSTRACT

Animals thrive in a constantly changing environment and leverage the temporal structure to learn well-factorized causal representations. In contrast, traditional neural networks suffer from forgetting in changing environments and many methods have been proposed to limit forgetting with different trade-offs. Inspired by the brain thalamocortical circuit, we introduce a simple algorithm that uses optimization at inference time to generate internal representations of the current task dynamically. The algorithm alternates between updating the model weights and a latent task embedding, allowing the agent to parse the stream of temporal experience into discrete events and organize learning about them. On a continual learning benchmark, it achieves competitive end average accuracy by mitigating forgetting, but importantly, by requiring the model to adapt through latent updates, it organizes knowledge into flexible structures with a cognitive interface to control them. Tasks later in the sequence can be solved through knowledge transfer as they become reachable within the well-factorized latent space. The algorithm meets many of the desiderata of an ideal continually learning agent in open-ended environments, and its simplicity suggests fundamental computations in circuits with abundant feedback control loops such as the thalamocortical circuits in the brain.

研究の動機と目的

• 視床皮質回路がタスク分解と認知的柔軟性に果たす役割を模倣する、生物学的に妥当な継続的学習アルゴリズムの開発。
• タスク識別子や事前に指定されたタスク数を必要とせず、順序付けられたオープンエンドな環境で教師なしタスク発見を可能にする。
• 代表的表現を良好に因子分解された、分離可能な潜在空間に整理することで、前向きおよび後向きの知識転送を支援する。
• 同じ入力が内部タスク文脈に応じて異なる応答を引き起こす、文脈に応じた行動制御を実現する。
• 明確な訓練フェーズを必要とせず、将来の学習に向けた可塑性を維持できる、シンプルでスケーラブルなアルゴリズムの設計。

提案手法

• モデル重みの更新には標準的な誤差逆伝播法を、タスク埋め込みの更新には連続的潜在空間における勾配降下法を交互に適用する。
• タスクの識別は、ネットワークの順方向伝搬を通じた勾配を用いて推論時に潜在ベクトルを最適化することで行い、継続的な経験に対する動的ラベリングを可能にする。
• 潜在空間は各タスクに対して固定サイズの埋め込みで初期化され、既存の埋め込みが新しい入力を説明できなくなった際に新しいタスクを発見する。
• 推論と潜在最適化の両方で共有重みを使用する単一のネットワークを採用することで、別個のタスク推論ヘッドやバッファの必要性を排除する。
• 潜在埋め込みへの勾配更新は、ネットワークを介して誤差信号を逆伝播することで計算され、誤差信号がタスク表現の形成を導く。
• 明示的なタスク境界やラベルが推論中に必要とされない、エンドツーエンドで教師なしに動作する。

実験結果

リサーチクエスチョン

• RQ1 シンプルで生物学的に妥当なアルゴリズムは、タスクラベルや事前に指定されたクラスタ数なしに、順序的な経験を離散的なタスクに動的に分解できるか？
• RQ2 推論時における潜在表現の最適化は、継続的学習における分離可能で転送可能な知識をどのように実現するか？
• RQ3 このようなシステムは、同じ入力が内部タスク文脈に応じて異なる出力を引き起こす文脈に応じた行動制御をどの程度実現できるか？
• RQ4 アルゴリズムは、タスクの数がオープンエンドに増加する状況でも、可塑性を維持し、壊滅的忘却を回避できるか？
• RQ5 潜在空間における勾配降下法の使用は、他の手法と比較して一般化性能や知識転送の観点でどのように異なるか？

主な発見

• アルゴリズムは、継続的学習ベンチマークで競争力のあるシーケンス終了時の平均正答率を達成するとともに、壊滅的忘却を顕著に軽減する。
• 潜在変数の更新を用いることで、知識が良好に因子分解され、分離可能な潜在空間に整理され、将来および過去のタスクへの柔軟な知識転送を可能にする。
• 事前にタスク数やクラスタ構造を指定する必要がなく、任意の時間スケールで時間的イベントを発見できる。
• 同じ入力が、潜在ベクトルに符号化された現在のタスク文脈に応じて異なる応答を引き起こす、文脈に応じた行動制御を実現する。
• 潜在空間におけるリtrieバルと適応により、新規タスクへの一般化が可能であり、前向きおよび後向きの知識転送を示す。
• スケーラブルであり、明確な訓練フェーズを必要とせず、動的環境におけるオープンエンドで生涯にわたる学習に適している。