[논문 리뷰] Interactive Visualization for Debugging RL

Shuby Deshpande, Benjamin Eysenbach외 1명|arXiv (Cornell University)|2020. 08. 14.

Reinforcement Learning in Robotics참고 문헌 32인용 수 5

한 줄 요약

이 논문은 강화학습(RL) 정책을 디버깅하고 해석하기 위해 실시간으로 롤아웃, 재생 버퍼, 궤적 데이터를 탐색할 수 있도록 허용하는 상호작용형 시각화 시스템 Vizarel을 소개한다. 연구자들이 에이전트 행동, 상태 방문, 학습 동역학을 탐색할 수 있도록 설계되었으며, 기존 도구의 기술적 서술 기능을 넘어서 평가적 및 생성적 디버깅(예: 높은 TD 오차 상태 및 행동 패턴 식별)을 지원하는 프레임워크가 핵심 기여이다.

ABSTRACT

Visualization tools for supervised learning allow users to interpret, introspect, and gain an intuition for the successes and failures of their models. While reinforcement learning practitioners ask many of the same questions, existing tools are not applicable to the RL setting as these tools address challenges typically found in the supervised learning regime. In this work, we design and implement an interactive visualization tool for debugging and interpreting RL algorithms. Our system addresses many features missing from previous tools such as (1) tools for supervised learning often are not interactive; (2) while debugging RL policies researchers use state representations that are different from those seen by the agent; (3) a framework designed to make the debugging RL policies more conducive. We provide an example workflow of how this system could be used, along with ideas for future extensions.

연구 동기 및 목표

• 정적 지표와 서술적 대시보드를 넘어서 디버깅을 지원하는 상호작용형, RL 전용 시각화 도구의 부족을 해결한다.
• 학습 중 에이전트 행동, 상태 방문, 학습 동역학의 변화를 연구자가 탐색할 수 있도록 한다.
• 실패 패턴, 높은 분산 상태, 정책 행동 이질성 등을 식별하는 데 도움이 되는 평가적 및 생성적 기능을 제공한다.
• 롤아웃 및 재생 데이터에 대한 상호작용 쿼리를 허용함으로써 연구자 직관과 에이전트 내부 구조 사이의 격차를 메운다.
• RL 학습 워크플로우에 통합되며, 시각적 통찰을 통해 반복적인 정책 개선을 지원하는 시스템을 설계한다.

제안 방법

• 궤적, 상태, 재생 버퍼, 행동 분포를 위한 전용 뷰를 갖춘 다중 뷰포트 인터페이스를 구현한다.
• 호버, 선택, 필터링을 통한 실시간 상호작용을 지원하여 궤적과 상태 공간 내 관심 영역을 탐색할 수 있도록 한다.
• TD 오차, 누적 보상, 행동 분산 등 핵심 RL 지표를 시간과 상태 공간 전역에서 시각화한다.
• 에이전트 궤적을 따라 TD 오차를 비교함으로써 불안정성 또는 높은 오차를 유발하는 행동 시퀀스를 식별할 수 있도록 한다.
• 상태 임bedding과 행동 분포 등의 데이터 스트림을 통합하여 고차원 상태 공간에서 패턴 탐지를 지원한다.
• 새로운 데이터 유형(예: 시각화가 없는 분야의 시각화 도구, 예: 헬스케어, 교육)에 확장 가능한 프레임워크를 설계한다.

실험 결과

연구 질문

• RQ1 상호작용형 시각화는 정적 지표와 서술적 대시보드를 넘어서 RL 정책 디버깅을 어떻게 향상시킬 수 있는가?
• RQ2 연구자가 상태 역학과 정책 결과 간의 인과 관계를 이해하는 데 필수적인 상호작용 기능는 무엇인가?
• RQ3 재생 버퍼와 궤적의 시각적 탐색은 알고리즘적 문제를 시사하는 지속적인 고TD 오차 또는 행동 분산 패턴을 드러낼 수 있는가?
• RQ4 시각적 탐색은 어떻게 생성적 디버깅을 지원하는가? 즉, 관찰된 행동에 기반해 연구자가 표적적인 간섭 조치를 설계하도록 유도할 수 있는가?
• RQ5 상호작용 도구는 RL 학습 중 실패 모드나 분포 이탈을 조기에 탐지하는 데 어떤 역할을 할 수 있는가?

주요 결과

• Vizarel은 DDPG로 훈련된 HalfCheetah 정책에서 고분산 TD 오차를 식별함으로써 크리틱 과대추정 편향을 시사한다.
• 궤적 뷰포트에서의 상호작용적 호버 및 비교 기능을 통해 사용자는 특정 행동 시퀀스와 TD 오차 급상승 간의 상관관계를 파악할 수 있다.
• 재생 버퍼 공간에서 고-TD 오차 상태의 클러스터링은 분포 이탈 또는 일반화 부족을 시사하는 지속적인 패턴을 드러낸다.
• 분포 뷰포트는 높은 행동 또는 보상 분산 영역을 탐지하여 분산 감소 기법 적용 기회를 제공한다.
• 시각적 패턴과 알고리즘 개선 조치를 연결함으로써 실질적인 통찰을 제공한다. 예를 들어, 과대추정을 완화하는 알고리즘 사용.
• 프레임워크는 확장 가능하며, 현재 시각화 도구, 재생 버퍼 내 검색, 광범위한 RL 도구 생태계에의 통합을 위한 개발이 진행 중이다.