[論文レビュー] Giving Up Control: Neurons as Reinforcement Learning Agents

Jordan Ott|arXiv (Cornell University)|Mar 17, 2020

Reinforcement Learning in Robotics参考文献 30被引用数 4

ひとこと要約

本稿では、個々のニューロンを、自分自身の利益を最大化するために独立して行動する強化学習エージェントとしてモデル化し、ネットワーク内での競争と協力を通じて学習を進める手法を提案する。生物学的に妥当な報酬（例：タスクの遂行精度、スパarsity、活動トレース）を導入することで、CartPoleのような高レベルタスクにおいて、純粋なタスク報酬に基づく学習に比べて、特に深層構造において安定的かつスケーラブルな学習が達成される。

ABSTRACT

Artificial Intelligence has historically relied on planning, heuristics, and handcrafted approaches designed by experts. All the while claiming to pursue the creation of Intelligence. This approach fails to acknowledge that intelligence emerges from the dynamics within a complex system. Neurons in the brain are governed by local rules, where no single neuron, or group of neurons, coordinates or controls the others. This local structure gives rise to the appropriate dynamics in which intelligence can emerge. Populations of neurons must compete with their neighbors for resources, inhibition, and activity representation. At the same time, they must cooperate, so the population and organism can perform high-level functions. To this end, we introduce modeling neurons as reinforcement learning agents. Where each neuron may be viewed as an independent actor, trying to maximize its own self-interest. By framing learning in this way, we open the door to an entirely new approach to building intelligent systems.

研究の動機と目的

• AIにおけるトップダウン的・行動レベルのコスト関数最適化の限界を克服するため、局所的なニューロンダイナミクスに注目し、ボトムアップ的・自己組織的知能への移行を図ること。
• 深層強化学習におけるスケーラビリティと安定性の問題を解決するため、ニューロンレベルに生物学的に妥当な報酬メカニズムを統合すること。
• 独立した強化学習エージェントとして動作するニューロンが、内発的な競争と協力によって高レベルタスクを共同で達成できることを示すこと。
• スパarsityや活動トレースのような局所的・ニューロン特異的報酬が、ネットワークダイナミクスの改善とより深いネットワークの訓練を可能にするかどうかを検討すること。
• 外部から定義された報酬関数に依存しないようにするため、内部的に生成される・エージェントに局所化された報酬生成の仕組みを検討し、より生物学的に妥当な学習を実現すること。

提案手法

• 各ニューロンを独立した強化学習エージェントとしてモデル化し、ポリシー勾配法を用いて自身の利益を最大化するように動作させる。
• ニューロンが活動表現とリソースをめぐって競争しながらも、高レベルのタスク目標を達成するために協力するマルチエージェントフレームワークを採用する。
• 報酬信号は3つの要素で構成される：タスクレベル報酬（例：CartPoleスコア）、スパarsity報酬（過剰または不十分な活動をペナルティ）、活動トレース（バランスの取れた発火パターンを促進）。
• 活動トレース報酬は、常に活性化しているか、まったく発火しないニューロンをペナルティ処理し、集団的コード化の多様性を促進し、飽和を防ぐ。
• 訓練は、1層、2層、5層のネットワークを用いてOpenAI GymのCartPole環境で実施し、確率的ポリシー最適化を用いる。
• 報酬スキームを組み合わせてテスト：タスクのみ、生物学的報酬のみ、および両方のハイブリッドを評価し、学習効率とスケーラビリティへの影響を分析。

実験結果

リサーチクエスチョン

• RQ1 中央集権的監視なしに、独立した強化学習エージェントとしてモデル化されたニューロンのネットワークが、CartPoleのような高レベル制御タスクを学習できるか？
• RQ2 スパarsityや活動トレースのような生物学的に妥当な報酬を組み込むことで、より深いネットワークにおける訓練の安定性と性能が向上するか？
• RQ3 タスクレベル報酬に依存する場合と、局所的・生物学的根拠を持つ報酬を組み込む場合とを比較した場合、マルチエージェントニューロンネットワークの性能はどのように異なるか？
• RQ4 自己利益を追求するニューロンが、高レベルタスクの遂行に必要な集団的協力を達成できるか？
• RQ5 内部的に生成される・ニューロンに局所化された報酬メカニズムは、外部から定義された報酬関数への依存度をどの程度低減できるか？

主な発見

• タスクレベル報酬のみで訓練したネットワークは、2層を超えると効果的にスケーリングできず、深層構造では目標性能に到達するまでに20,000回以上のエピソードを要した。
• 生物学的に妥当な報酬（スパarsityと活動トレース）を組み込むことで、5層ネットワークの成功した訓練が可能となり、タスク報酬と組み合わせた場合、平均して4,419エピソードで収束した。
• ハイブリッド報酬スキーム（生物学的報酬＋タスク報酬）が最良のパフォーマンスを示し、5層ネットワークにおいて100エピソードの平均報酬が300に達するまでに平均4,419エピソードを要した。
• 活動トレース報酬は、バランスの取れた発火パターンを効果的に維持し、ニューロンが恒常的に活性化されたり沈黙したりするのを防ぎ、集団的コード化の多様性を促進した。
• 結果から、生物学的に妥当な報酬が、より深く複雑なネットワークにおける学習ダイナミクスの安定化に不可欠であることが示された。
• このフレームワークはマルチエージェント・ニューロンレベルの強化学習に実現可能であり、自己利益を追求するエージェントが内発的な報酬構造を通じて集団的知能を達成できることを示した。