[논문 리뷰] Are Gradient-based Saliency Maps Useful in Deep Reinforcement Learning?

Matthias Rosynski, Frank Kirchner외 1명|arXiv (Cornell University)|2020. 12. 02.

Reinforcement Learning in Robotics참고 문헌 14인용 수 4

한 줄 요약

이 논문은 딥 강화 학습(DRL)에서 기울기 기반 샐런시 맵의 유용성을 조사하며, Grad-CAM 및 가이드드 백프로파게이션과 같은 기법들이 에이전트의 의사결정 과정에 대해 초기에 해석 가능한 통찰을 제공함을 입증한다. 이는 디버깅을 위해 보상만을 사용하는 것보다 우수하다. G1Grad-Cam는 기존 Grad-CAM보다 더 효과적으로 특징 중요도를 드러내며, 특히 보상이 초기에는 신뢰할 수 없는 오프-폴리시 알고리즘에서 조기 훈련 오류를 탐지하는 데에 새로운 방법을 제안한다.

ABSTRACT

Deep Reinforcement Learning (DRL) connects the classic Reinforcement Learning algorithms with Deep Neural Networks. A problem in DRL is that CNNs are black-boxes and it is hard to understand the decision-making process of agents. In order to be able to use RL agents in highly dangerous environments for humans and machines, the developer needs a debugging tool to assure that the agent does what is expected. Currently, rewards are primarily used to interpret how well an agent is learning. However, this can lead to deceptive conclusions if the agent receives more rewards by memorizing a policy and not learning to respond to the environment. In this work, it is shown that this problem can be recognized with the help of gradient visualization techniques. This work brings some of the best-known visualization methods from the field of image classification to the area of Deep Reinforcement Learning. Furthermore, two new visualization techniques have been developed, one of which provides particularly good results. It is being proven to what extent the algorithms can be used in the area of Reinforcement learning. Also, the question arises on how well the DRL algorithms can be visualized across different environments with varying visualization techniques.

연구 동기 및 목표

• 기울기 기반 샐런시 맵이 딥 강화 학습에서 효과적인 디버깅 도구로 기능할 수 있는지 평가하는 것.
• DRL 환경 내에서 Grad-CAM 및 가이드드 백프로파게이션과 같은 기존 시각화 기법의 해석 가능성과 신뢰성 평가.
• 특징 탐지 및 오류 정위치 향상에 기여하는 새로운 시각화 기법, 특히 G1Grad-Cam의 개발 및 검증.
• 샐런시 방법이 보상 기반 분석보다 아키텍처나 구현 오류를 오프-폴리시 알고리즘에서 더 일찍 탐지할 수 있는지 여부 평가.
• 행동 구분 기반 샐런시 방법이 에이전트의 의사결정 과정에 가장 영향을 미치는 특징을 강조할 수 있는지 여부 조사.

제안 방법

• Atari 환경에서 DRL 에이전트에 대해 기존의 네 가지 기울기 기반 시각화 기법—Grad-CAM, 가이드드 백프로파게이션, Grad-CAM++, 및 새로운 방법인 G1Grad-Cam—를 적응 및 적용하였다.
• G1Grad-CAM을 제안하며, 최종 합성곱층의 고기울기 영역을 강조함으로써 특징 정위치를 향상시키는 수정된 Grad-CAM 변종으로서의 성능을 개선하였다.
• 입력 영역 제거가 정책 출력에 미치는 영향을 비교하기 위해 페르튜베이션 기반 샐런시 메트릭(예: 기울기의 유한 차분 근사)을 사용하였다.
• Breakout 및 Pong와 같은 환경에서 DDDQN, 스플릿 어텐션 에이전트 등 여러 DRL 에이전트에 대해 시각화 기법을 적용하여 일관성과 해석 가능성 평가.
• 훈련 초반 단계에서 샐런시 맵을 평가하며, 흐린 및 노이즈가 많은 보상 신호와 비교하여 조기 진단 잠재력 평가.
• 부정 기울기의 영향과 그가 특징 경계를 강조하는 데 기여하는 방식을 분석하기 위해 아블레이션 스터디를 수행하였으며, 라플라스 기반 경계 검출 효과를 시사하였다.

실험 결과

연구 질문

• RQ1 오프-폴리시 DRL 알고리즘에서 보상 기반 모니터링보다 기울기 기반 샐런시 맵이 조기 훈련 오류를 더 일찍 탐지할 수 있는가?
• RQ2 가이드드 백프로파게이션과 Grad-CAM 기법이 DRL 에이전트에서 의미 있는, 물리적으로 해석 가능한 특징을 드러내는가, 아니면 오류적인 아티팩트를 생성하는가?
• RQ3 제안된 G1Grad-Cam 방법이 표준 Grad-CAM보다 에이전트의 행동에 영향을 미치는 특징을 더 잘 식별할 수 있는가?
• RQ4 샐런시 맵이 에이전트가 올바른 특징을 학습하고 있는지, 아니면 보상 형식화로 인해 패턴을 암기하고 있는지를 어느 정도 드러내는가?
• RQ5 행동 구분 기반 샐런시 방법을 통해 선택된 행동에 가장 기여하는 특징을 강조할 수 있는 방법이 있는가?

주요 결과

• G1Grad-Cam와 Grad-CAM는 보상이 증가하기 시작하기 이르기 전에도 매우 이른 시점에서 해석 가능한 시각화를 생성하여 네트워크 문제의 조기 탐지가 가능했다.
• 가이드드 백프로파게이션은 특징 중요도 탐지 및 특정 네트워크 레이어나 스트림의 오류 식별에서 Grad-CAM보다 우수한 성능을 보였다. 특히 스플릿 어텐션 에이전트에서 두드러졌다.
• DDDQN 에이전트에서 프레임 스택 오류를 분석하여 몇 분 내로 시각화에 성공하여 장기 훈련 이전에 즉각 수정이 가능했다.
• 가이드드 백프로파게이션의 부정 기울기는 라플라스 커널과 유사한 패턴을 형성하여, 이차 도함수 효과를 통해 특징 경계를 검출하는 것으로 나타났다.
• 이전 연구에서 제기된 바와 달리, 가이드드 백프로파게이션은 단순한 에지 검출기로 기능하는 것이 아니라 관련 특징을 시각화하는 것으로 확인되어 이전의 회의론을 도전할 수 있었다.
• 본 연구에서 사용된 행동 구분 기반 샐런시 방법 중 어느 것도 선택된 행동에 가장 큰 영향을 미치는 특징을 명확히 강조하지 못했으며, 향후 행동 특화 기울기 라우팅 개선이 필요함을 시사했다.