[논문 리뷰] Transparency and Explanation in Deep Reinforcement Learning Neural Networks

Rahul Iyer, Yuezhang Li외 4명|D-Scholarship@Pitt (University of Pittsburgh)|2018. 09. 17.

Explainable Artificial Intelligence (XAI)참고 문헌 23인용 수 16

한 줄 요약

이 논문은 객체 인식과 정량적 영향(긍정/부정 영향)을 딥 강화학습(DRL) 모델에 명시적으로 통합하여 해석 가능한 객체 샐런시 매핑을 생성하는 오브젝트 민감도 딥 강화학습(O-DRL) 프레임워크를 제안한다. 이러한 매핑은 정책 결정을 이끄는 게임 내 객체를 시각화하여 인간이 이해할 수 있는 설명을 가능하게 하며, 인간 실험 결과, 특히 보상이 모호한 복잡한 상황에서 원본 스크린샷과 동등한 효과를 보이며 에이전트 행동 예측에 유용함을 입증한다.

ABSTRACT

Autonomous AI systems will be entering human society in the near future to provide services and work alongside humans. For those systems to be accepted and trusted, the users should be able to understand the reasoning process of the system, i.e. the system should be transparent. System transparency enables humans to form coherent explanations of the system's decisions and actions. Transparency is important not only for user trust, but also for software debugging and certification. In recent years, Deep Neural Networks have made great advances in multiple application areas. However, deep neural networks are opaque. In this paper, we report on work in transparency in Deep Reinforcement Learning Networks (DRLN). Such networks have been extremely successful in accurately learning action control in image input domains, such as Atari games. In this paper, we propose a novel and general method that (a) incorporates explicit object recognition processing into deep reinforcement learning models, (b) forms the basis for the development of "object saliency maps", to provide visualization of internal states of DRLNs, thus enabling the formation of explanations and (c) can be incorporated in any existing deep reinforcement learning framework. We present computational results and human experiments to evaluate our approach.

연구 동기 및 목표

• 딥 강화학습(DRL) 에이전트의 투명성 부족이 사용자 신뢰 및 시스템 디버깅을 저해하는 문제를 해결하기 위해.
• 학습 과정에 객체 수준의 특징을 통합하여 자율 에이전트가 인간이 이해할 수 있는 방식으로 결정을 설명할 수 있도록 하기 위해.
• 기존 DRL 프레임워크의 아키텍처를 대대적으로 수정하지 않고도 일반화 가능한 방법을 개발하기 위해.
• 컴퓨터 실험과 인간 실험을 통해 객체 샐런시 매핑이 DRL 에이전트 행동에 대한 인간 이해를 향상시키는 데 효과적인지 평가하기 위해.

제안 방법

• DRL 네트워크 아키텍처에 명시적인 객체 인식과 객체 밸런스(긍정/부정 보상 영향)를 통합하기 위해.
• 기존 DRL 프레임워크(DQN, A3C 등)를 수정하여 상태 표현에서 객체 특징과 그들의 샐런시를 처리하는 데 추가 분기(branch)를 추가하기 위해.
• 표준 DRL 손실 함수를 사용하여 O-DRL 모델을 엔드 투 엔드로 훈련하면서 샐런시 점수를 역전파할 수 있는 능력을 유지하기 위해.
• Q-값 또는 정책 출력에 대한 객체 특징에 대한 기울기를 계산하여 객체 샐런시 매apping을 생성함으로써, 결정에 가장 영향을 미치는 객체를 강조하기 위해.
• Ms. Pac-Man에서 점수, 귀신, 체리 등의 객체가 정책 결정에 미치는 상대적 중요도를 보여주기 위해 이러한 샐런시 매핑을 활용하기 위해.
• 객체가 명확한 보상 영향을 미치는 Atari 게임(예: Ms. Pac-Man)에 이 방법을 적용하여 해석 가능성과 인간 이해도를 테스트하기 위해.

실험 결과

연구 질문

• RQ1 객체 인식 기반 DRL 모델이 인간이 내부 의사결정 과정을 볼 수 있도록 하여 투명성을 향상시킬 수 있는가?
• RQ2 원본 게임 스크린샷과 비교해 볼 때, 객체 샐런시 매핑은 인간이 DRL 에이전트 행동을 예측하는 데 얼마나 효과적인가?
• RQ3 여러 영향을 미치는 객체가 존재하는 복잡한 의사결정 상황에서, 샐런시 매핑은 단순한 시각 프레임보다 더 명확한 통찰을 제공하는가?
• RQ4 객체 샐런시 매핑은 DRL 에이전트의 비최적 또는 예상치 못한 행동을 식별하고 설명하는 데 도움이 되는가?

주요 결과

• 객체 샐런시 매핑은 Ms. Pac-Man에서 DRL 에이전트 행동 예측에 있어 원본 게임 스크린샷과 동등한 효과를 보였다.
• 복잡한 상황—예를 들어, 에이전트가 왼쪽으로 이동할지 아래로 이동할지 선택해야 할 때—에서 샐런시 매핑을 사용한 참가자 중 60%가 객체 밸런스(예: 아래쪽에 있는 점들)를 바탕으로 에이전트의 행동을 정확히 예측했다.
• 반면, 스크린샷을 사용한 참가자 중 75%는 왼쪽에 있는 체리 때문에 에이전트가 왼쪽으로 전환할 것이라고 예측했으며, 이는 샐런시 매핑이 단순한 시각적 프레임에서 드러나지 않는 의사결정의 핵심 요소를 드러냈다는 것을 시사한다.
• 결과적으로, 객체 샐런시 매핑은 보상 구조가 비직관적인 행동을 유도할 때 DRL 정책의 진정된 의사결정 논리를 폭 드러낼 수 있음을 보여준다.
• 시험 간 성능 차이에서, 샐런시 매핑은 특히 시각적 맥락만으로는 충분하지 않은 모호하거나 고도의 인지 부하가 수반되는 상황에서 특히 유용함을 알 수 있다.
• 이 방법은 일반화 가능하며, DQN과 A3C와 같은 기존 DRL 프레임워크에 큰 아키텍처 변경 없이 통합할 수 있다.