[論文レビュー] Intrinsically Motivated Learning of Visual Motion Perception and Smooth Pursuit

Chong Zhang, Yu Zhao+2 more|arXiv (Cornell University)|Feb 14, 2014

Visual perception and processing mechanisms参考文献 17被引用数 3

ひとこと要約

本稿では、スパースコーディングと強化学習を統合した統一フレームワークを提案し、内発的動機付けを通じて、能動的目の視覚的運動知覚とスムーズ追従行動の共発達を可能にする。リソース制約下での神経符号化の正確性を最適化することにより、モデルは自発的に方向選択性を示すV1に類似したニューロンと協調的な目動かしを生成し、知覚と行動統合の生物学的に妥当なメカニズムを示している。

ABSTRACT

We extend the framework of efficient coding, which has been used to model the development of sensory processing in isolation, to model the development of the perception/action cycle. Our extension combines sparse coding and reinforcement learning so that sensory processing and behavior co-develop to optimize a shared intrinsic motivational signal: the fidelity of the neural encoding of the sensory input under resource constraints. Applying this framework to a model system consisting of an active eye behaving in a time varying environment, we find that this generic principle leads to the simultaneous development of both smooth pursuit behavior and model neurons whose properties are similar to those of primary visual cortical neurons selective for different directions of visual motion. We suggest that this general principle may form the basis for a unified and integrated explanation of many perception/action loops.

研究の動機と目的

• 感覚知覚と運動行動の発達を1つの学習フレームワークで統一すること。
• リソース制限下での符号化正確性として定義される内発的動機付けが、視覚処理とスムーズ追従の共発達をどのように駆動するかをモデル化すること。
• 一般化された学習原理が能動的ビジョンシステムにおいて生物学的に妥当な神経的および行動的結果を生み出すかどうかを調査すること。
• 受動的感覚処理にとどまらず、能動的知覚と行動を含めた効率的コーディング理論の拡張すること。

提案手法

• フレームワークは、視覚入力の効率的神経表現を実現するスパースコーディングと、行動をガイドする強化学習を統合する。
• 共通の内発的報酬信号が、神経リソースの制限下での神経符号化の正確性を最大化する。
• エージェント（能動的目の模倣）は、ポリシー最適化を通じて時間的に変化する環境における動的刺激の追従を学習する。
• 神経表現は、再構成誤差を最小化しつつスパarsityを維持するためにスパースコーディングにより更新される。
• 行動ポリシーは、内発的報酬を最大化することを目的としたポリシー勾配強化学習により学習される。
• システムは、方向選択性を示すV1に類似したニューロンとスムーズ追従行動を同時に発達させる。

実験結果

リサーチクエスチョン

• RQ1 1つの内発的動機付け信号が、視覚的運動知覚とスムーズ追従行動の共発達を駆動できるか？
• RQ2 リソース制約下での神経符号化正確性の最適化が、生物学的に妥当な神経選択性を生み出すか？
• RQ3 能動的エージェントは、外部報酬なしに内発的学習により動的刺激を追従できるか？
• RQ4 知覚と行動の統合は、統一された学習原理からどのように生じるか？

主な発見

• モデルは、一次視覚皮質（V1）の単純細胞に類似した方向選択性を示すニューロンを効果的に発達させた。
• スムーズ追従行動は、内発的学習目的の結果として自然に出現した。
• システムは、スパースで効率的な表現を維持しながら、視覚的運動の高精度な神経符号化を達成した。
• 知覚と行動の共発達は、外部報酬を一切用いずに、内発的動機付けによってのみ駆動された。