[논문 리뷰] Visual Diagnostics for Deep Reinforcement Learning Policy Development

Jieliang Luo, Sam Green외 3명|arXiv (Cornell University)|2018. 09. 14.

Reinforcement Learning in Robotics참고 문헌 7인용 수 3

한 줄 요약

이 논문은 시각 기반 제어에 사용되는 딥 강화 학습(DRL) 정책에 적합하게 조정된 시각적 진단 기법—클래스 시각화, 기여도 맵핑, t-SNE—을 소개한다. 시뮬레이션된 드론 환경에 이 기법들을 적용함으로써, 저자들은 정책이 어떻게 결정을 내리는지, 어떤 편향을 드러내며, 과적합이나 일반화 부족과 같은 결함을 밝혀내어 DRL 시스템의 해석 가능성과 신뢰도를 크게 향상시킨다.

ABSTRACT

Modern vision-based reinforcement learning techniques often use convolutional neural networks (CNN) as universal function approximators to choose which action to take for a given visual input. Until recently, CNNs have been treated like black-box functions, but this mindset is especially dangerous when used for control in safety-critical settings. In this paper, we present our extensions of CNN visualization algorithms to the domain of vision-based reinforcement learning. We use a simulated drone environment as an example scenario. These visualization algorithms are an important tool for behavior introspection and provide insight into the qualities and flaws of trained policies when interacting with the physical world. A video may be seen at https://sites.google.com/view/drlvisual .

연구 동기 및 목표

• 시각 기반 딥 강화 학습(DRL)에서 컨volutional 신경망(CNN)의 투명성 부족 문제, 특히 안전 핵심 사이버-물리 시스템에서의 문제를 해결하기 위해.
• 기존의 CNN 시각화 기법—t-SNE, 클래스 시각화, 기여도—를 DRL 정책 분석에 적응시키기 위해.
• 엔지니어가 정책이 어떤 특징에 주목하고 있으며 왜 특정 행동을 선택하는지 시각화함으로써 DRL 정책을 내省하고 디버깅할 수 있도록 하기 위해.
• 과적합된 초기 경험이나 일반화 부족과 같은 결함을 시각적 진단을 통해 식별하기 위해.
• 정책 결정 과정을 투명하고 분석 가능하게 만들어 DRL의 신뢰도와 해석 가능성을 향상시키기 위해.

제안 방법

• 강화 학습 작업을 지원하고 정책 분석을 위한 상태-행동 트레이젝터리를 수집할 수 있도록 AirSim 시뮬레이터를 확장하였다.
• t-SNE를 적용하여 정책의 행동 출력 기반으로 상태 관측치를 군집화함으로써 의사결정 경계와 정책 행동 군집을 드러내었다.
• 클래스 시각화를 사용하여 특정 행동(왼쪽, 전진, 오른쪽)의 확률을 최대화하는 합성 이미지를 생성함으로써 정책이 각 행동과 연관지운 시각적 패턴을 확인하였다.
• 기여도 시각화를 통해 정책의 행동 선택에 가장 영향을 미치는 영역을 강조하였으며, 시각적 중요도를 나타내는 샐런시 맵을 사용하였다.
• 학습률 조절이 가능한 REINFORCE 알고리즘을 사용하여 정책을 훈련하고, 훈련 동역학이 정책 행동에 미치는 영향을 연구하였다.
• 행동 확률 분포의 분석을 통해 확률적 정책을 시각화하고, 시각 입력 변화에 대한 민감도를 분석하였다.

실험 결과

연구 질문

• RQ1 기존의 CNN 시각화 기법은 어떻게 시각 기반 딥 강화 학습 정책의 의사결정 과정을 분석하는 데 적응시킬 수 있는가?
• RQ2 높은 성능과 낮은 성능을 보이는 DRL 정책은 각각 어떤 시각적 패턴을 학습하며, 환경에 대한 인식 방식에서 어떻게 다를까?
• RQ3 DRL 정책이 특정 시각적 특징, 예를 들어 가림이나 배경 패턴에 대해 어느 정도 편향을 보이며, 이러한 편향은 어떻게 진단할 수 있는가?
• RQ4 정책 훈련 중 학습률이 행동 편향의 발생에 어떤 영향을 미치며, 시각화 기법으로 조기 과적합을 조기에 탐지할 수 있는가?
• RQ5 시각적 진단 기법은 정책이 의미 있는 환경 캐릭터리스틱에 기반해 결정을 내리는지, 아니면 허상 상관관계에 기반해 결정을 내리는지 드러낼 수 있는가?

주요 결과

• 고성능 정책은 큐브의 공간적 위치와 행동을 명확히 연관시키는 클래스 시각화를 생성한다—예를 들어, 큐브가 카메라 시야의 왼쪽에 있을 때 '왼쪽' 행동이 유도된다.
• 저성능 정책은 모든 행동이 노이즈에 의해 유도되는 클래스 시각화를 생성하여 의미 있는 특징 학습 부족과 일반화 부족을 보여준다.
• 전진 및 오른쪽 전용 정책는 높은 학습률이 조기 수렴을 유도할 수 있으며, '왼쪽' 행동 확률이 여전히 관련성이 있음에도 불구하고 사라지게 됨을 보여준다.
• 고성능 정책의 기여도 시각화에서는 가장 가까운 큐브가 가장 주목받는다. 이는 정책이 가장 관련 있는 환경적 특징에 주목하고 있음을 확인한다.
• 저성능 정책의 기여도 맵에서는 이미지 전반에 걸쳐 균일한 주목이 나타나며, 이는 신뢰할 수 있는 특징 우선순위 부여가 없고 의사결정 능력이 열악함을 시사한다.
• 전진 및 오른쪽 전용 정책의 기여도 맵에서는 정책이 큐브보다는 수평선에 더 많은 주목을 기울이고 있음을 확인하여, 관련 객체에 주목하지 못하는 실패를 보여준다.