[논문 리뷰] An initial attempt of combining visual selective attention with deep reinforcement learning

Liu Yuezhang, Ruohan Zhang외 1명|arXiv (Cornell University)|2018. 11. 11.

Reinforcement Learning in Robotics참고 문헌 29인용 수 15

한 줄 요약

이 논문은 A2C 및 DQN 에이전트의 정책 네트워크에 광학 흐름 기반의 주의 맵을 융합하여 딥 강화 학습에 시각적 선택적 주의를 통합하는 방법을 제안한다. 아타리 게임과 Catch 환경에서 샘플 효율성과 성능 향상을 입증하였으며, 주의와 배치 정규화 간의 상호작용이 두드러진다는 핵심 발견을 하였다.

ABSTRACT

Visual attention serves as a means of feature selection mechanism in the perceptual system. Motivated by Broadbent's leaky filter model of selective attention, we evaluate how such mechanism could be implemented and affect the learning process of deep reinforcement learning. We visualize and analyze the feature maps of DQN on a toy problem Catch, and propose an approach to combine visual selective attention with deep reinforcement learning. We experiment with optical flow-based attention and A2C on Atari games. Experiment results show that visual selective attention could lead to improvements in terms of sample efficiency on tested games. An intriguing relation between attention and batch normalization is also discovered.

연구 동기 및 목표

• 시각적 선택적 주의 메커니즘이 딥 강화 학습 성능에 어떻게 기여할 수 있는지 조사하기.
• DQN에서 중간 특징 맵의 역할을 이해하고, 주의를 더 깊은 네트워크 레이어에 효과적으로 융합할 수 있는지 탐색하기.
• 주의의 영향을 단순한 환경과 복잡한 환경 모두에서 샘플 효율성과 학습 안정성에 미치는 영향 평가하기.
• 주의 메커니즘과 배치 정규화와 같은 정규화 레이어 간의 상호작용 탐색하기.
• 인간의 인지에서 영감을 얻은 계층적 주의 구조를 바탕으로, 입력 레이어가 아닌 특징 수준에서 주의를 통합하는 방법 개발하기.

제안 방법

• 연속 프레임 간의 광학 흐름을 사용하여 움직이는 물체를 주목할 만한 특징으로 강조하는 시각적 주의를 생성한다.
• 주의 맵을 정책 네트워크의 마지막 합성곱 특징 맵과 원소별 곱셈으로 융합한 후 배치 정규화를 수행한다.
• 이 방법은 A2C 및 DQN 에이전트에 적용되며, 주의를 최종 합성곱 레이어에 융합하여 특징 표현을 조절한다.
• 특징 맵 분석과 주의 메커니즘이 학습 동역학에 미치는 영향을 검증하기 위해 토이 환경(Catch)을 사용한다.
• 실험은 네 개의 아타리 게임에서 표준 OpenAI 베이스라인과 기본 하이퍼파rameter를 사용한 기준 A2C 및 DQN과의 비교를 통해 수행된다.
• 이 접근은 주의 기능이 완전히 제거되지 않고 학습 가능한 스케일링을 통해 감쇠되는 브로드벤티의 누출 필터 모델을 영감으로 삼는다.

실험 결과

연구 질문

• RQ1 시각적 선택적 주의가 딥 강화 학습의 샘플 효율성을 향상시킬 수 있는가?
• RQ2 입력 레이어가 아닌 특징 레벨에서 주의를 융합할 경우, 복잡한 환경에서 학습 성능에 어떤 영향을 미치는가?
• RQ3 딥 RL 에이전트에서 시각적 주의와 배치 정규화 간의 상호작용 효과는 무엇인가?
• RQ4 광학 흐름을 통한 운동 기반 주의가 비디오 게임에서 임계적인 기능을 효과적으로 강조하는가?
• RQ5 주의 메커니즘은 입력 단계를 넘어서 네트워크의 더 깊은 레이어에 의미 있게 적용될 수 있는가?

주요 결과

• 광학 흐름 기반 주의로 인해 Breakout과 Seaquest에서 초기 학습 단계에서 샘플 효율성이 향상되었으며, 이는 이 게임들에서 움직이는 물체가 두드러지게 나타나기 때문이다.
• 시험한 네 개의 아타리 게임(Breakout, Seaquest, MsPacman, Centipede) 전반에 걸쳐 중간 정도의 성능 향상이 달성되었다.
• 주의 메커니즘과 배치 정규화 사이에 유의미한 상호작용이 발견되어, 정규화가 주의 융합 표현의 안정화에 핵심적인 역할을 한다는 것을 시사한다.
• Catch 환경에서 주의는 노이즈를 감소시키고 학습 안정성을 향상시켰으며, 특히 시각적 입력이 혼잡한 경우에 특징 선택의 가치를 입증하였다.
• 최종 합성곱 레이어에 주의를 융합하는 것이 입력 레이어 주의보다 더 나은 정책 학습을 이끌어내어 계층적 주의 융합의 타당성을 뒷받침한다.
• 결과는 주의 메커니즘이 입력 뿐 아니라 중간 특징 수준에서도 딥 RL과 효과적으로 융합될 수 있으며, 표현 학습을 향상시킬 수 있음을 시사한다.