[논문 리뷰] Multi-focus Attention Network for Efficient Deep Reinforcement Learning

Jin‐Young Choi, Beom‐Jin Lee외 1명|arXiv (Cornell University)|2017. 12. 13.

Reinforcement Learning in Robotics참고 문헌 16인용 수 29

한 줄 요약

이 논문은 시각적 입력을 부분 상태로 분할하고, 병렬 주의 메커니즘을 적용하여 작업에 관련된 엔티티에 집중함으로써 샘플 효율성을 향상시키는 딥 강화학습 모델인 다중 집중 주의 네트워크(MANet)를 제안한다. MANet는 DQN과 단일 주의 모델보다 훨씬 적은 경험 샘플로 최신 기술 수준의 성능을 달성하며, 다중 에이전트 협동 학습을 20% 가속화한다.

ABSTRACT

Deep reinforcement learning (DRL) has shown incredible performance in learning various tasks to the human level. However, unlike human perception, current DRL models connect the entire low-level sensory input to the state-action values rather than exploiting the relationship between and among entities that constitute the sensory input. Because of this difference, DRL needs vast amount of experience samples to learn. In this paper, we propose a Multi-focus Attention Network (MANet) which mimics human ability to spatially abstract the low-level sensory input into multiple entities and attend to them simultaneously. The proposed method first divides the low-level input into several segments which we refer to as partial states. After this segmentation, parallel attention layers attend to the partial states relevant to solving the task. Our model estimates state-action values using these attended partial states. In our experiments, MANet attains highest scores with significantly less experience samples. Additionally, the model shows higher performance compared to the Deep Q-network and the single attention model as benchmarks. Furthermore, we extend our model to attentive communication model for performing multi-agent cooperative tasks. In multi-agent cooperative task experiments, our model shows 20% faster learning than existing state-of-the-art model.

연구 동기 및 목표

• 희소 보상과 큰 경험 샘플 수에서 학습하는 데에 효율성이 떨어지는 딥 강화학습(DRL)의 문제를 해결하기 위해.
• 원시 픽셀을 균일하게 처리하는 대신, 감각 입력에서 다수의 관련 엔티티에 집중함으로써 인간과 유사한 공간 추상화를 모방하기 위해.
• 단일 에이전트 및 다중 에이전트 강화학습 작업에서 샘플 효율성과 학습 속도를 향상시키기 위해.
• 상태-행동 가치 추정을 위해 다수의 부분 상태에 동적으로 주의를 기울일 수 있는 확장 가능한 주의 메커니즘을 개발하기 위해.

제안 방법

• 모델은 저수준 감각 입력(예: 이미지)을 서로 겹치지 않는 여러 부분 상태로 분할하여, 인간이 서로 다른 엔티티에 주목하는 것과 유사하게 모의한다.
• 각 부분 상태에 대해 병렬 주의 레이어를 적용하여 작업에 관련된 특징을 추출함으로써, 주목할 만한 영역에 집중적으로 처리할 수 있도록 한다.
• 다양한 부분 상태에서 주목한 특징을 융합하여 상태-행동 가치를 추정함으로써 표현 품질을 향상시킨다.
• 다양한 공간적으로 분리된 입력 세그먼트를 동시에 처리할 수 있도록 이중 스트림 주의 메커니즘을 아키텍처에 통합한다.
• 다중 에이전트 환경에서, 에이전트들이 주목한 특징을 공유할 수 있는 커뮤니케이션 메커니즘으로 확장하여 협동 작업을 수행한다.
• 경험 재생과 타겟 네트워크를 사용하는 딥 Q-러닝을 통해 엔드 투 엔드로 학습하며, DQN과 유사하지만 주의 기반 특징 추출을 통한 개선을 적용한다.

실험 결과

연구 질문

• RQ1 시각 입력을 부분 상태로 나누고 다중 집중 주의를 적용하는 것이 딥 강화학습의 샘플 효율성을 향상시키는가?
• RQ2 학습 속도와 최종 성능 측면에서 다중 집중 주의는 단일 주의 또는 원시 픽셀 입력보다 어떻게 비교되는가?
• RQ3 제안된 주의 메커니즘은 다중 에이전트 협동 작업과 상호 에이전트 간 통신을 통해 효과적으로 확장될 수 있는가?
• RQ4 이 모델은 인간 수준의 성능에 도달하기 위해 필요한 경험 샘플 수를 어느 정도 줄이는가?
• RQ5 주의 메커니즘이 복잡한 시각 환경에서 일반화 능력과 강건성을 향상시키는가?

주요 결과

• MANet는 DQN과 단일 주의 네트워크와 같은 베이스라인 모델들 중에서 훨씬 적은 경험 샘플로 가장 높은 점수를 기록한다.
• 모델은 관련 있는 시각 엔티티에 집중함으로써 샘플 복잡도를 감소시켜 단일 에이전트 제어 작업에서 더 빠른 수렴을 이끌어낸다.
• 다중 에이전트 협동 작업에서는 최신 기술 수준의 모델보다 20% 더 빠르게 학습하여 샘플 효율성이 향상됨을 입증한다.
• 주의 메커니즘이 전체 입력을 균일하게 처리하는 대신 작업에 관련된 시각적 구성 요소에 선택적으로 집중함으로써 성능을 향상시킨다.
• 주목 기반 커뮤니케이션 모델로의 확장은 에이전트 간의 협력을 향상시켜 협동 환경에서 뛰어난 성능을 달성한다.