[논문 리뷰] The Sensory Neuron as a Transformer: Permutation-Invariant Neural Networks for Reinforcement Learning

Yujin Tang, David Ha|arXiv (Cornell University)|2021. 09. 07.

Cellular Automata and Applications인용 수 27

한 줄 요약

논문은 순열 불변 RL 아키텍처인 AttentionNeuron을 도입합니다. 각 감각 입력은 자체 모듈로 처리되고 메시지는 주의(attention)로 결합되어 전역 정책을 형성하며, 이를 통해 여러 RL 과제에서 임의의 입력 순서 및 노이즈 채널에 대한 강건함을 유지합니다. 또한 기존 정책의 퍼뮤테이션 불변 성능을 향상시키기 위한 행동 복제(behavior cloning)가 추가로 사용됩니다.

ABSTRACT

In complex systems, we often observe complex global behavior emerge from a collection of agents interacting with each other in their environment, with each individual agent acting only on locally available information, without knowing the full picture. Such systems have inspired development of artificial intelligence algorithms in areas such as swarm optimization and cellular automata. Motivated by the emergence of collective behavior from complex cellular systems, we build systems that feed each sensory input from the environment into distinct, but identical neural networks, each with no fixed relationship with one another. We show that these sensory networks can be trained to integrate information received locally, and through communication via an attention mechanism, can collectively produce a globally coherent policy. Moreover, the system can still perform its task even if the ordering of its inputs is randomly permuted several times during an episode. These permutation invariant systems also display useful robustness and generalization properties that are broadly applicable. Interactive demo and videos of our results: https://attentionneuron.github.io/

연구 동기 및 목표

• 전역 행동이 로컬로 정보를 얻은 에이전트들에서 나오는 학습 시스템을 자극하기.
• 임의로 순서가 매겨진 감각 입력으로도 작동할 수 있는 순열 불변 아키텍처를 개발합니다.
• 입력이 순열되거나 소음으로 증강될 때의 강건성 및 일반화 특성을 입증합니다.
• Behavior cloning을 포함한 학습 방식들을 탐구하여 기존 정책을 순열 불변 형태로 전환합니다.

제안 방법

• 각 관측은 서로 순서가 고정되지 않은 가변 길이 입력 목록으로 간주되며, 각 입력은 공유된 감각 뉴런 모듈에 의해 처리됩니다.
• AttentionNeuron 내부에서 각 감각 뉴런은 메시지 f_k(o_t[i], a_{t-1})와 f_v(o_t[i])를 계산하며, 뉴런 간에 공유 함수들을 사용합니다.
• 주의(attention) 메커니즘은 이러한 메시지들을 입력 순서에 의존하지 않는 글로벌 잠재 코드 m_t로 집계합니다.
• 주의는 고정된 Q 은행을 사용하고 K(o_t, a_{t-1})와 V(o_t)를 학습하여 트랜스포머 유사한 주의식에서 m_t를 계산합니다.
• Q는 입력과 분리되어 입력 수가 달라질 때도 순열 불변성을 가능하게 합니다.
• 비전 작업에서는 입력 패치를 유사하게 처리하고, f_k의 시간 기억 및 학습 안정화를 위한 선택적 정규화 단계를 도입합니다.
• 이 접근법은 CartPole, PyBullet Ant, Atari Pong, CarRacing를 대상으로 입력 표현 및 네트워크 차원에 대한 자세한 정보를 논문에 제공합니다.

실험 결과

연구 질문

• RQ1 뉴럴 아키텍처가 임의 길이의 순열된 입력 스트림을 처리하고도 일관된 전역 정책을 생성할 수 있는가?
• RQ2 순열 불변 처리 방식이 입력 노이즈 및 보지 않은 관측 순열에 대한 강건성에 어떤 영향을 미치는가?
• RQ3 순열 불변성이 새로운 배경이나 시각적 변화에 대한 일반화에 미치는 영향은 무엇인가?
• RQ4 기존 정책에서 행동 복제를 통해 순열 불변 정책을 학습할 수 있는가?
• RQ5 AttentionNeuron 계층이 다양한 환경에서 하류 RL 정책과 어떻게 상호 작용하는가?

주요 결과

• AttentionNeuron을 가진 에이전트는 에피소드 중 입력이 임의로 순열되더라도 작업 성능을 달성할 수 있다.
• 순열 불변 표현은 보지 못한 상황과 노이즈 입력에 대한 강건성 및 일반화를 향상시킨다.
• 비전 작업에서 모델은 패치의 부분 집합만으로도 작동할 수 있으며 테스트 시 추가 패치를 통해 이점을 얻을 수 있다.
• BC(Behavior cloning)는 비 PI 정책을 PI 정책으로 전환할 수 있으며, 고차원 관찰에서 더 큰 다운스트림 네트워크가 BC 성능을 향상시킨다.
• 이 방법은 입력의 가변 수를 처리할 수 있게 하고, 시각적 설명과 t-SNE 임베딩으로 의미 있는 주의 기반 입력 구성을 보여준다.