[논문 리뷰] Look where you look! Saliency-guided Q-networks for generalization in visual Reinforcement Learning

David Bertoin, Adil Zouitine외 2명|arXiv (Cornell University)|2022. 09. 16.

Visual Attention and Saliency Detection인용 수 5

한 줄 요약

이 논문은 시각적 강화학습에서 일반화 능력과 해석 가능성을 향상시키기 위해 에이전트가 핵심 입력 픽셀을 자가 식별하고 집중하도록 훈련하는 일반적인 방법인 Saliency-guided Q-networks(SGQN)을 제안한다. SGQN은 자기지도 학습 기반의 시각적 중요도 예측과 일致성 손실을 통합하여, 특히 간섭물이 많은 조건에서 DMControl 벤치마크에서 Soft Actor-Critic 성능을 크게 향상시키며, 일반화 및 훈련 효율성 측면에서 새로운 최고 성능를 달성한다.

ABSTRACT

Deep reinforcement learning policies, despite their outstanding efficiency in simulated visual control tasks, have shown disappointing ability to generalize across disturbances in the input training images. Changes in image statistics or distracting background elements are pitfalls that prevent generalization and real-world applicability of such control policies. We elaborate on the intuition that a good visual policy should be able to identify which pixels are important for its decision, and preserve this identification of important sources of information across images. This implies that training of a policy with small generalization gap should focus on such important pixels and ignore the others. This leads to the introduction of saliency-guided Q-networks (SGQN), a generic method for visual reinforcement learning, that is compatible with any value function learning method. SGQN vastly improves the generalization capability of Soft Actor-Critic agents and outperforms existing stateof-the-art methods on the Deepmind Control Generalization benchmark, setting a new reference in terms of training efficiency, generalization gap, and policy interpretability.

연구 동기 및 목표

• 왜곡물이 많거나 통계적으로 다양성이 있는 입력 조건에서 깊이 강화학습 에이전트의 일반화 능력이 열 劣한 문제를 해결하기 위해.
• 에이전트가 인과적으로 관련된 시각적 특징에 집중하고 배경의 혼란을 유발하는 요소를 무시하도록 하여 정책의 강건성을 향상시키기 위해.
• 외부 중요도 맵이나 추가 추론 비용 없이도 일반화 및 해석 가능성을 동시에 향상시킬 수 있는 방법을 개발하기 위해.
• 모든 가치 기반 딥 강화학습 알고리즘, 특히 Soft Actor-Critic(SAC)과 호환되는 일반적이고 플러그인 방식의 프레임워크를 구축하기 위해.

제안 방법

• 중요도 맵에 의해 식별된 픽셀에 주로 의존하도록 Q-값 함수를 유도하는 일致성 정규화 항을 도입한다.
• 에이전트가 자신의 Q-값 중요도 맵을 예측하는 자기지도 학습 목표를 활용하여, 의사결정에 관련된 특징에 대한 자기 인식 능력을 향상시킨다.
• 이중 루프 메커니즘을 사용한다: 중요도 맵이 가치 함수 학습을 안내하고, 예측된 중요도 맵이 특징 표현을 개선함으로써 상호 보완적인 학습 사이클을 형성한다.
• SAC에 이 방법을 적용하기 위해 Q-네트워크 아키텍처에 중요도 헤드를 추가하여 주의 맵을 예측하도록 수정한다.
• 기울기 기반 할당(예: Grad-CAM 또는 유사 기법)을 사용한 미분 가능한 중요도 맵 추정을 구현하여 엔드 투 엔드 훈련을 가능하게 한다.
• Q-값의 중요도 맵과 Q-네트워크의 기울기 기반 할당 간의 일致성을 확보하는 일치 손실을 도입하여, 주의와 가치 함수 의존성 간의 일致성을 보장한다.

실험 결과

연구 질문

• RQ1 자기지도 중요도 예측이 간섭물이 많거나 이미지 변형이 있는 환경에서 시각적 강화학습 에이전트의 일반화 능력을 향상시키는가?
• RQ2 Q-값 의존성과 중요도 맵 간의 일치를 강제로 적용할 경우 정책의 강건성과 훈련 효율성은 어떻게 영향을 받는가?
• RQ3 외부 설명 도구 없이도 내재된 중요도 예측 기반의 자기주의 메커니즘이 얼마나 해석 가능성을 향상시킬 수 있는가?
• RQ4 SGQN과 같은 일반적이고 모odu lar한 방법이 SAC에 효과적으로 적용되어 기존 최고 성능의 방법을 초월할 수 있는가?
• RQ5 자기지도 중요도 학습 목표가 분포 이동에 일반화되는 더 나은 특징 표현을 도출하는가?

주요 결과

• SGN-SAC(SGQN을 SAC에 적용한 결과)는 하드 일반화 벤치마크에서 기존의 SAC 대비 평균 수익을 493% 향상시켰다.
• ‘finger spin’ 환경의 하드 모드에서 SGN-SAC는 822±24의 수익을 기록하여, 기존의 SAC(20±10) 대비 4010% 향상되었다.
• 특히 간섭물이 많은 환경에서 일반화 갭을 크게 줄였으며, DMControl 벤치마크에서 이전 최고 성능의 방법들을 능가했다.
• SGQN은 계산적 오버헤드 없이 내재된 실시간 중요도 맵을 제공하여, 후행적 설명 도구 없이도 해석 가능한 의사결정을 가능하게 했다.
• 절단 실험 결과, 일치 손실을 제거할 경우 하드 벤치마크에서 성능이 15-20% 감소함을 확인하여, 이 손실의 핵심적 역할을 입증했다.
• SGN-SAC의 훈련 효율성이 크게 향상되어, 깨끗한 훈련 환경에서도 더 빠른 수렴과 높은 샘플 효율성을 보였다.