[논문 리뷰] ProtoX: Explaining a Reinforcement Learning Agent via Prototyping

Ronilo J. Ragodos, Tong Wang외 2명|arXiv (Cornell University)|2022. 11. 06.

Explainable Artificial Intelligence (XAI)인용 수 4

한 줄 요약

ProtoX는 이미지 및 텍스트와 같은 비정형 환경에서 행동 패턴(프로토타입)을 식별하여 행동을 시각적 유사성과 시나리오 유사성 기반으로 설명하는 프로토타입 기반 후행 해석기이다. 시각적 유사성은 자기지도 대비 학습을 통해, 상황 유사성은 등장성 변환층을 통해 캡처하며, 전문가 정책에 높은 정밀도를 유지하면서도 인간이 이해할 수 있는 해석을 제공한다.

ABSTRACT

While deep reinforcement learning has proven to be successful in solving control tasks, the "black-box" nature of an agent has received increasing concerns. We propose a prototype-based post-hoc policy explainer, ProtoX, that explains a blackbox agent by prototyping the agent's behaviors into scenarios, each represented by a prototypical state. When learning prototypes, ProtoX considers both visual similarity and scenario similarity. The latter is unique to the reinforcement learning context, since it explains why the same action is taken in visually different states. To teach ProtoX about visual similarity, we pre-train an encoder using contrastive learning via self-supervised learning to recognize states as similar if they occur close together in time and receive the same action from the black-box agent. We then add an isometry layer to allow ProtoX to adapt scenario similarity to the downstream task. ProtoX is trained via imitation learning using behavior cloning, and thus requires no access to the environment or agent. In addition to explanation fidelity, we design different prototype shaping terms in the objective function to encourage better interpretability. We conduct various experiments to test ProtoX. Results show that ProtoX achieved high fidelity to the original black-box agent while providing meaningful and understandable explanations.

연구 동기 및 목표

• 이미지 및 텍스트와 같은 비정형 환경에서의 블랙박스 딥 강화학습 에이전트의 설명 가능성 문제를 해결하기 위해.
• 특정 상태에서 에이전트가 왜 특정 행동을 취하는지에 대한 인간이 이해할 수 있는 통찰을 제공하는 후행 설명 방법을 개발하기 위해.
• 주의 맵이나 의사결정 트리의 한계를 극복하기 위해, 시각적으로 다양하지만 맥락적으로 유사한 상태에서 두드러진 행동 패턴을 대표하는 프로토타입을 사용하기 위해.
• 자기지도 대비 학습을 통한 시각적 유사성 모델링과 등장성 변환층을 통한 시나리오 유사성 모델링을 동시에 수행하여 더 견고하고 의미 있는 설명을 얻기 위해.
• 에이전트의 정책이나 환경에 대한 접근 없이도 설명의 정밀도와 해석 가능성을 확보하기 위해, 단지 시범 트레이젝터리만을 사용하여 설명 기반 모델을 학습하기 위해.

제안 방법

• 전문가 시범 트레이젝터리에 기반한 시간 대비 손실을 사용하여 컨volutional 인코더를 사전 학습함으로써, 시간적 근접성과 공통 행동을 기반으로 시각적 유사성을 학습함.
• 대비 학습을 사용한 시아미즈 네트워크 아키텍처를 통해 임베딩 공간에서 시각적으로 유사한 상태를 클러스터링함.
• 행동 클로닝 과정에서 등장성 변환층을 도입하여 특징 공간을 조정함으로써 시나리오 유사성을 캡처함으로써, 시각적으로 다를 수 있는 상태가 동일한 맥락적 의도를 가질 수 있음을 모델이 인식할 수 있도록 함.
• 전문가 트레이젝터리에서 애자일러닝(모방 학습)을 통해 ProtoX를 학습하며, 프로토타입 형상화 항목을 손실 함수에 포함시켜 설명의 해석 가능성 향상과 중복 감소를 도모함.
• 입력 상태와 프로토타입 간의 유사성 가중치 합으로 행동 증거를 계산함. 여기서 가중치는 특정 행동을 지지하는 데 프로토타입이 얼마나 강하게 기여하는지 반영함.
• 패치 마스킹을 통해 중요도 맵을 생성함으로써, 어떤 시각적 영역이 유사성에 가장 기여하는지 파악함으로써 에이전트 행동 진단에 기여함.

실험 결과

연구 질문

• RQ1 이미지와 같은 비정형 관측 공간에서 블랙박스 DRL 에이전트를 프로토타입 기반 방법으로 효과적으로 설명할 수 있는가?
• RQ2 시각적 유사성과 시나리오 유사성을 동시에 모델링하면 설명의 정밀도와 해석 가능성은 어떻게 향상되는가?
• RQ3 전문가 시범 데이터에 대한 자기지도 사전 학습이 정 politicy 학습을 위해 환경에 대한 접근 없이도 충분한가?
• RQ4 ProtoX는 잘못된 행동 패턴(예: 적을 피하기 위해 점프하지 못함)을 인식하고, 일치하지 않는 프로토타입을 식별함으로써 이를 설명할 수 있는가?
• RQ5 주의 기반 또는 트리 기반 설명 방법과 비교할 때, 프로토타입 표현 방식은 인간의 해석 가능성과 정밀도 측면에서 어떤가?

주요 결과

• ProtoX는 VIPER와 GAIfO와 같은 유사한 네트워크 아키텍처를 가진 강력한 기준 모델들을 능가하거나 동등하게 유지하는 높은 설명 정밀도를 달성함.
• Super Mario Bros.와 Seaquest에서 복잡한 행동 패턴을 성공적으로 설명함. 예를 들어, 파이프를 점프로 넘는 것, 굼바를 피하는 것, 敌의 출현을 예측하는 것과 같은 프로토타입 시나리오를 식별함.
• 나쁜 에이전트의 점프 실패를 진단함. 중요도 맵을 통해 천둥색 유사성에 의존하고 있음을 드러내며, 유일하게 중요한 영역은 하늘 뿐임을 보여줌으로써 잘못된 추론 패턴을 드러냄.
• 반면, 좋은 에이전트에서 학습된 ProtoX는 브릭을 때려 적을 죽이는 전략적 요소를 정확히 식별함. 중요도 맵은 마리오의 위치와 행동 맥락을 강조함.
• 등장성 변환층의 추가로 시나리오 유사성 모델링이 크게 향상되어, 시각적으로 다를 수 있는 상태가 동일한 행동 의도를 가질 수 있음을 모델이 인식할 수 있게 됨.
• 목표 함수에 포함된 프로토타입 형상화 항목은 중복을 감소시키고 해석 가능성을 향상시켜 더 간결하고 의미 있는 행동 프로토타입 집합을 만들어 냄.