[論文レビュー] Need is All You Need: Homeostatic Neural Networks Adapt to Concept Shift

Kingson Man, António R. Damásio+1 more|arXiv (Cornell University)|May 17, 2022

Neural Networks and Applications被引用数 5

ひとこと要約

本稿では、自身の予測の結果と学習ダイナミクスを結びつけるホメオスタティックニューラルネットワークを提案する。このモデルは、内部的安定性を保つために正確な意思決定を必要とするため、誤りに対して感受性を示す。特に、変化率が高い概念シフト条件下では、変化するデータ分布に適応できるように学習率を動的に調整するため、標準的な学習者よりも優れた性能を示す。

ABSTRACT

In living organisms, homeostasis is the natural regulation of internal states aimed at maintaining conditions compatible with life. Typical artificial systems are not equipped with comparable regulatory features. Here, we introduce an artificial neural network that incorporates homeostatic features. Its own computing substrate is placed in a needful and vulnerable relation to the very objects over which it computes. For example, artificial neurons performing classification of MNIST digits or Fashion-MNIST articles of clothing may receive excitatory or inhibitory effects, which alter their own learning rate as a direct result of perceiving and classifying the digits. In this scenario, accurate recognition is desirable to the agent itself because it guides decisions to regulate its vulnerable internal states and functionality. Counterintuitively, the addition of vulnerability to a learner does not necessarily impair its performance. On the contrary, self-regulation in response to vulnerability confers benefits under certain conditions. We show that homeostatic design confers increased adaptability under concept shift, in which the relationships between labels and data change over time, and that the greatest advantages are obtained under the highest rates of shift. This necessitates the rapid un-learning of past associations and the re-learning of new ones. We also demonstrate the superior abilities of homeostatic learners in environments with dynamically changing rates of concept shift. Our homeostatic design exposes the artificial neural network's thinking machinery to the consequences of its own "thoughts", illustrating the advantage of putting one's own "skin in the game" to improve fluid intelligence.

研究の動機と目的

• 時間の経過とともにラベルとデータの関係が変化する概念シフトの課題に対処するため、性能を維持しようとする内在的動機付けを持つシステムをモデル化すること。
• 人工的学習者に、自身の意思決定が内部状態に影響を与える「内部的感受性」の形を付与することで、適応性が向上するかを検討すること。
• 2次的シフト（概念シフトの速度自体が時間とともに変化する状況）下で、ホメオスタティック制御が性能を向上させるかを調査すること。
• 予測結果からの内部フィードバックが、外部報酬信号なしに継続的学習の自己調整メカニズムとして機能できるかを実証すること。

提案手法

• 予測の結果に応じて学習率が調整される前向き型ニューラルネットワーク分類器（例：MNIST や Fashion-MNIST）を採用する。
• 予測誤差がネットワークの内部状態に直接影響を与える：正しい予測は内部的ストレスを低下させ（学習率を上昇）、誤りはストレスを増加させる（学習率を低下）。
• 正確な分類が内部的安定性を保つために不可欠であるとみなすホメオスタティックフィードバックループに基づき、学習率を動的に調整する。
• 生物的インスピレーションを受けて、ネットワークの「健康状態」が予測精度に依存する内部パラメータとして定式化する。
• 過去の予測の累積的影響を受ける内部状態に基づき、リアルタイムで学習率を更新する。
• 急激な変化やシフト率の季節的変動を含む制御された概念シフトシナリオでアーキテクチャを訓練し、適応性をテストする。

実験結果

リサーチクエスチョン

• RQ1 自身の予測結果の影響を受けるニューラルネットワークは、標準的な学習者よりも概念シフト下でより優れた適応を達成できるか？
• RQ2 ホメオスタティック学習者の性能向上度は、概念シフトの速度に比例して増大するか？
• RQ3 シフト速度自体が時間とともに変化する2次的シフト下で、ホメオスタティックメカニズムの性能はいかがなっているか？
• RQ4 予測結果からの内部フィードバックのみで、外部報酬信号や強化学習信号なしに効果的な継続的学習が可能か？
• RQ5 ホメオスタティック設計により、変動する環境条件下でも性能を維持するための持続的学習率調整が実現できるか？

主な発見

• 高レートの概念シフト下では、ホメオスタティック学習者が標準モデルを著しく上回り、特に最高のシフトレートで最も顕著な性能向上が観察された。
• 静的または低レートのシフト条件下では、ホメオスタティックモデルは標準学習者に比べてわずかな性能劣位を示し、適応性と安定性のトレードオフが明らかになった。
• ホメオスタティックネットワークは、概念シフトが高まる時期に学習率を動的に上昇させ、新しいデータ分布への迅速な適応を可能にした。
• 「荒れ模様」の高レートシフト期が到来した後、ホメオスタティックモデルは定常学習率ベースラインよりも速く回復し、より高い正確性を維持した。
• ホメオスタティックモデルは、休止状態（refractory）の挙動を示し、穏やかな期間中でも高い学習率を維持した。その結果、安定した段階ではわずかに性能が低下したが、全体として変動する環境条件下で優れた平均性能を維持した。
• ホメオスタティック設計により、シフト速度が時間とともに変化する2次的シフトに対しても効果的な適応が可能であり、動的環境変化に対する頑健性を示した。