[논문 리뷰] Attention-Privileged Reinforcement Learning

Sasha Salter, Dushyant Rao외 3명|arXiv (Cornell University)|2019. 11. 19.

Reinforcement Learning in Robotics참고 문헌 42인용 수 6

한 줄 요약

이 논문은 주어진 환경 상태 정보를 활용하는 상태 기반 에이전트와 함께 영상 기반 에이전트를 동시에 훈련시켜 주의 메커니즘의 정렬과 공유된 경험 재생을 통해 영상 기반 딥 강화학습에서 샘플 효율성과 강인성을 향상시키는 Attention-Privileged Reinforcement Learning (APRiL)을 제안한다. APRiL은 상태 기반 에이전트로부터 온 주의 감독를 통해 영상 기반 에이전트가 작업에 관련된 특징에 집중하도록 유도함으로써, 훈련 분포 내외의 간섭 요소에 대해 더 빠른 학습과 뛰어난 일반화 성능을 달성한다.

ABSTRACT

Image-based Reinforcement Learning is known to suffer from poor sample efficiency and generalisation to unseen visuals such as distractors (task-independent aspects of the observation space). Visual domain randomisation encourages transfer by training over visual factors of variation that may be encountered in the target domain. This increases learning complexity, can negatively impact learning rate and performance, and requires knowledge of potential variations during deployment. In this paper, we introduce Attention-Privileged Reinforcement Learning (APRiL) which uses a self-supervised attention mechanism to significantly alleviate these drawbacks: by focusing on task-relevant aspects of the observations, attention provides robustness to distractors as well as significantly increased learning efficiency. APRiL trains two attention-augmented actor-critic agents: one purely based on image observations, available across training and transfer domains; and one with access to privileged information (such as environment states) available only during training. Experience is shared between both agents and their attention mechanisms are aligned. The image-based policy can then be deployed without access to privileged information. We experimentally demonstrate accelerated and more robust learning on a diverse set of domains, leading to improved final performance for environments both within and outside the training distribution.

연구 동기 및 목표

• 시각 도메인 랜덤라이제이션 하에서 영상 기반 딥 강화학습의 낮은 샘플 효율성과 일반화 문제를 해결하기 위해.
• 훈련 난이도를 증가시키고 최종 성능을 떨어뜨릴 수 있는 광범위한 시각 랜덤라이제이션에 의존도를 줄이기 위해.
• 테스트 시에 특권 정보에 접근할 필요 없이도 간섭 요소와 예측하지 못한 시각적 변형에 강인성을 확보하기 위해.
• 훈련 중 시뮬레이터 상태의 구조적이고 작업 관련 정보를 활용해 영상 기반 정책의 학습을 가속화하기 위해.

제안 방법

• APRiL은 두 개의 동시 작동하는 액터-크리틱 에이전트를 훈련한다: 하나는 영상 기반(특권 정보 없이도 구현 가능한)이고, 다른 하나는 환경 상태 정보에 접근 가능한 상태 기반이다.
• 두 에이전트 모두 입력을 필터링하기 위해 주의 메커니즘을 사용하며, 훈련 중에 주의 모듈이 명시적으로 정렬되어 영상 기반 에이전트가 작업에 관련된 특징에 집중하도록 유도된다.
• 이 방법은 두 에이전트 간에 공유된 리PLAY 버퍼를 활용하여 영상 기반 정책의 데이터 효율성과 빠른 학습을 가능하게 한다.
• 상태 기반 에이전트의 주의는 작업에 관련된 요소들(예: 목표 물체, 사지 등)에 집중하도록 훈련되며, 이 지식은 주의 정렬을 통해 영상 기반 에이전트로 전달된다.
• 주의 정렬은 영상 공간과 상태 공간의 대응 관측에 대해 유사한 주의 마스크를 유도하는 대비 손실을 통해 달성된다.
• 이 방법은 모델-프리이며, 특권 정보에서 영상 기반 에이전트로 지식 전달을 위한 주의 메커니즘을 통합함으로써 비대칭 액터-크리틱 방법을 확장한다.

실험 결과

연구 질문

• RQ1 주어진 환경 상태 정보를 활용하는 상태 기반 에이전트와의 주의 정렬을 통해 영상 기반 딥 강화학습에서 샘플 효율성과 강인성을 향상시킬 수 있는가?
• RQ2 영상 기반과 상태 기반 에이전트 간의 주의를 정렬하면 훈련 중에 보이지 않은 간섭 요소에 대해 더 나은 일반화가 이루어지는가?
• RQ3 특권 정보를 갖는 에이전트와 영상 기반 에이전트 간의 리PLAY 버퍼 공유가 영상 기반 정책의 학습 가속화에 얼마나 기여하는가?
• RQ4 APRiL은 asym-DDPG 및 s-map asym-DDPG와 같은 강력한 베이스라인과 비교해 최종 성능과 일반화 성능에서 어떻게 다른가?
• RQ5 주의 정렬과 공유된 리PLAY 버퍼 중 어느 것이 정책 성능 향상에 더 큰 기여를 하는가?

주요 결과

• APRiL은 여러 시뮬레이션 환경에서 asym-DDPG 및 s-map asym-DDPG보다 빠른 수렴을 보이며 학습 속도를 크게 향상시킨다.
• APRiL로 훈련된 영상 기반 정책는 훈련 중에 존재하지 않았던 추가 간섭 요소가 있는 환경에서도 강인하게 일반화되며, 분포 외 일반화 능력이 뛰어나다.
• 고도로 시각적 변동성이 있는 설정에서 APRiL은 분포 내 및 외부로 확장된 테스트 환경 모두에서 베이스라인보다 더 높은 최종 성능를 달성한다.
• 제거 실험 결과, 공유된 리PLAY 버퍼만으로는 주의 정렬이 성능 향상에 더 큰 기여를 한다는 점을 입증하며, 주의 지도 기반 특징 학습의 중요성을 강조한다.
• 영상 기반 에이전트의 주의 메커니즘은 작업에 관련 없는 시각적 노이즈(예: 배경 혼잡함)를 억제하고, 목표물이나 로봇 팔과 같은 관련 물체에만 집중하는 것을 학습한다.
• JacoReach 환경에서 영상 기반 에이전트의 주의 마스크는 점점 증가하는 간섭 요소 수준에서도 항상 목표물과 로봇 팔만 일관되게 강조하며, 작업 중심의 주의 학습이 이루어졌음을 확인한다.