[논문 리뷰] Intrinsically Motivated Learning of Visual Motion Perception and Smooth Pursuit

Chong Zhang, Yu Zhao외 2명|arXiv (Cornell University)|2014. 02. 14.

Visual perception and processing mechanisms참고 문헌 17인용 수 3

한 줄 요약

이 논문은 자율적인 눈이 내재된 동기부여 하에 시각적 운동 인식과 부드러운 추적 행동을 동시에 발달시킬 수 있도록 하는 통합 프레임워크를 제안한다. 자원 제약 하에서 신경 표현의 정확도를 최적화함으로써, 모델은 자발적으로 방향 선택성을 띤 V1 유사 신경세포와 조율된 눈 운동을 생성하며, 인지-행동 통합을 위한 생물학적으로 타당한 메커니즘을 보여준다.

ABSTRACT

We extend the framework of efficient coding, which has been used to model the development of sensory processing in isolation, to model the development of the perception/action cycle. Our extension combines sparse coding and reinforcement learning so that sensory processing and behavior co-develop to optimize a shared intrinsic motivational signal: the fidelity of the neural encoding of the sensory input under resource constraints. Applying this framework to a model system consisting of an active eye behaving in a time varying environment, we find that this generic principle leads to the simultaneous development of both smooth pursuit behavior and model neurons whose properties are similar to those of primary visual cortical neurons selective for different directions of visual motion. We suggest that this general principle may form the basis for a unified and integrated explanation of many perception/action loops.

연구 동기 및 목표

• 단일 학습 프레임워크 내에서 감각 인식과 운동 행동의 발달을 통합하기 위해.
• 자원 제약 하에서의 표현 정확도로 정의되는 내재된 동기부여가 시각 처리와 부드러운 추적의 공발적 발달을 어떻게 이끄는지 모델링하기 위해.
• 일반적인 학습 원칙이 활성 시각 시스템에서 생물학적으로 타당한 신경 및 행동 결과를 도출할 수 있는지 조사하기 위해.
• 수동적 감각 처리를 넘어서 활성 인지와 행동을 포함하는 효율적 코딩 이론을 확장하기 위해.

제안 방법

• 프레임워크는 시각 입력의 효율적 신경 표현을 위해 희소 코딩을 통합하고, 행동을 이끌기 위해 강화 학습을 활용한다.
• 공통된 내재 보상 신호가 신경 자원 제약 하에서 신경 표현의 정확도를 극대화한다.
• 에이전트(활성 눈)는 정책 최적화를 통해 시간에 따라 변화하는 환경에서 움직이는 자극을 추적하는 법을 학습한다.
• 신경 표현은 재구성 오차를 최소화하면서도 희소성을 유지하기 위해 희소 코딩을 통해 갱신된다.
• 행동 정책은 정책 기반 강화 학습을 통해 내재 보상을 극대화하도록 학습된다.
• 시스템은 방향 선택성을 띤 V1 유사 신경세포와 부드러운 추적 행동을 동시에 진화시킨다.

실험 결과

연구 질문

• RQ1 단일 내재 동기부여 신호가 시각적 운동 인식과 부드러운 추적 행동의 공발적 발달을 이끌 수 있는가?
• RQ2 자원 제약 하에서 신경 표현의 정확도를 최적화함으로써 생물학적으로 타당한 신경 선택성이 유도되는가?
• RQ3 활성 에이전트가 외부 보상 없이도 내재 학습을 통해 움직이는 자극을 추적할 수 있는가?
• RQ4 인지와 행동의 통합은 어떻게 통합된 학습 원리에서 유래하는가?

주요 결과

• 모델은 주요 시각 피질(V1)의 단순 세포 유사 방향 선택성 신경세포를 성공적으로 발달시켰다.
• 부드러운 추적 행동은 내재 학습 목표의 결과로서 자연스럽게 나타났다.
• 희소하고 효율적인 표현을 유지하면서도 높은 정확도의 시각 운동 신경 표현을 달성했다.
• 인지와 행동의 공발적 발달은 외부 보상 없이도 내재된 동기부여에 의해 유일하게 이끌렸다.