[논문 리뷰] Finding and Visualizing Weaknesses of Deep Reinforcement Learning Agents

Christian Rupprecht, Cyril Ibrahim외 1명|arXiv (Cornell University)|2019. 04. 02.

Reinforcement Learning in Robotics참고 문헌 47인용 수 9

한 줄 요약

이 논문은 딥 강화학습 에이전트의 약점을 드러내는 비판적이고 미리 보지 못한 상태를 합성하는 생성 모델링 접근법을 제안한다. 환경 상태 데이터셋에 대해 훈련된 변동형 오토인코더의 잠재공간을 최적화하여, 높은 위험도 또는 높은 불확실성 행동을 유도하는 입력을 생성함으로써, 훈련 과정을 수정하지 않고도 에이전트 실패를 시각화할 수 있으며, 이는 아타리 게임과 자동주행 시뮬레이터에서 모두 효과를 보였다.

ABSTRACT

As deep reinforcement learning driven by visual perception becomes more widely used there is a growing need to better understand and probe the learned agents. Understanding the decision making process and its relationship to visual inputs can be very valuable to identify problems in learned behavior. However, this topic has been relatively under-explored in the research community. In this work we present a method for synthesizing visual inputs of interest for a trained agent. Such inputs or states could be situations in which specific actions are necessary. Further, critical states in which a very high or a very low reward can be achieved are often interesting to understand the situational awareness of the system as they can correspond to risky states. To this end, we learn a generative model over the state space of the environment and use its latent space to optimize a target function for the state of interest. In our experiments we show that this method can generate insights for a variety of environments and reinforcement learning methods. We explore results in the standard Atari benchmark games as well as in an autonomous driving simulator. Based on the efficiency with which we have been able to identify behavioural weaknesses with this technique, we believe this general approach could serve as an important tool for AI safety applications.

연구 동기 및 목표

• 딥 강화학습 에이전트의 해석 가능성 부족 문제, 특히 위험하거나 비판적인 조건에서의 의사결정 과정 이해를 위한 것이다.
• 훈련 과정을 수정하지 않고도 훈련된 에이전트의 실패 모드를 식별하는 방법을 개발하기 위한 것이다.
• 특정 행동적으로 의미 있는 반응을 유도하는 새로운, 미리 보지 못한 환경 상태를 생성하기 위한 것이다.
• 예를 들어 부적절한 브레이킹이나 보행자 탐지 실패와 같은 안전 핵심 시나리오에서의 에이전트 행동을 시각화하기 위한 것이다.
• 다양한 RL 알고리즘과 환경에 적용 가능한 일반 목적의 도구를 제공하기 위한 것이다. 이는 에이전트의 내성적 탄력성과 상황 인식 능력을 점검하는 데 기여한다.

제안 방법

• 사전 훈련된 RL 에이전트로부터 수집한 상태 데이터셋에 대해 변동형 오토인코더(VAE)를 훈련하여 환경의 분리된 잠재 표현을 학습한다.
• VAE의 잠재공간을 제약 조건이 있는 최적화 공간으로 사용하여, 무질서한 노이즈 최적화를 피하고 사용자 정의 목표를 충족하는 새로운 상태를 생성한다.
• 'T+' (높은 향후 수익) 및 'T-' (낮은 향후 수익)와 같은 목표 함수를 정의하여, 에이전트가 높은 보상을 기대하거나 낮은 보상을 기대하는 상태를 타겟으로 한다.
• 에이전트의 인식 손실을 통합하여 생성된 상태가 에이전트 정책과 관련 있고 현실적인 시각적 특성을 가지도록 하여, 속임수 예제를 줄인다.
• 기울기 기반 최적화 방법을 사용해 잠재공간에서 목표 함수를 최대화하거나 최소화하는 상태를 찾은 후, 이미지 공간으로 복원한다.
• 픽셀 단위의 MSE와 상대적 차이 기준(예: 채널당 25%)을 사용해 생성된 상태를 훈련 데이터와 비교함으로써 일반화 성능을 검증한다.

실험 결과

연구 질문

• RQ1 훈련된 RL 에이전트에서 높은 위험도 또는 높은 불확실성 행동을 유도하는 새로운, 미리 보지 못한 환경 상태를 생성할 수 있는가?
• RQ2 VAE를 통한 잠재공간 최적화가 무작위 또는 시각적 중요도 기반 방법에 비해 행동적 약점을 드러내는 데 얼마나 효과적인가?
• RQ3 이 방법은 보행자와 같은 중요한 장애물을 간과하는 등의 에이전트 인식 편향이나 실패를 어느 정도 탐지할 수 있는가?
• RQ4 에이전트가 현실적인 데이터로 훈련되었더라도, 안전한 상황에서 불필요한 브레이킹과 같은 실패 모드를 이 방법이 식별할 수 있는가?
• RQ5 생성된 분포는 훈련 데이터를 초월해 얼마나 잘 일반화되는가? 그리고 얼마나 많은 비율의 픽셀이 훈련 프레임과 의미 있게 다를까?

주요 결과

• 이 방법은 불필요한 브레이킹과 같은 높은 위험 행동을 유도하는 상태를 성공적으로 생성하여, 자동주행 에이전트에서 알려진 실패 모드를 드러냈다.
• '지각을 방해하는 보행자' 환경에서, 에이전트가 전화를 보며 다니는 보행자를 탐지하지 못하는 것으로 확인되어, 이 방법이 핵심적인 인식 격차를 드러냈다.
• 평균적으로 생성된 상태의 25%가 가장 가까운 훈련 프레임과 25% 이상의 차이를 보였으며, 이는 훈련 분포를 초월한 강력한 일반화와 새로운 상태 생성 능력을 시사한다.
• 시각화 결과에서 에이전트는 신호등, 차량, 교차로와 같은 핵심 요소를 정확히 인식했지만, 높은 위험 상황에서는 보행자를 탐지하지 못하는 것으로 나타났다.
• 에이전트 인식 손실을 도입함으로써 노이즈 기반 최적화에 비해 속임수 예제의 생성을 크게 줄였으며, 합성된 상태의 관련성을 향상시켰다.
• 이 방법은 50개의 아타리 게임과 복잡한 자동주행 시뮬레이터에서 효과를 보여, 다양한 RL 환경과 알고리즘에 광범위하게 적용 가능함을 입증했다.