[논문 리뷰] Discovering Blind Spots in Reinforcement Learning

Ramya Ramakrishnan, Ece Kamar외 3명|arXiv (Cornell University)|2018. 05. 23.

Reinforcement Learning in Robotics참고 문헌 22인용 수 9

한 줄 요약

이 논문은 시뮬레이션에서 상태 표현이 불완전할 때 발생하는 강화학습의 맹점(blind spots)을 탐지하기 위한 방법을 제안한다. 오라클 피드백(예시 및 수정 사항)을 사용하여 실세계 환경에서의 고비용 오류를 일으킬 수 있는 상태를 사전에 예측하는 모델을 학습함으로써, 실세계 환경에서 안전하고 쿼리 효율적인 실행을 가능하게 한다.

ABSTRACT

Agents trained in simulation may make errors in the real world due to mismatches between training and execution environments. These mistakes can be dangerous and difficult to discover because the agent cannot predict them a priori. We propose using oracle feedback to learn a predictive model of these blind spots to reduce costly errors in real-world applications. We focus on blind spots in reinforcement learning (RL) that occur due to incomplete state representation: The agent does not have the appropriate features to represent the true state of the world and thus cannot distinguish among numerous states. We formalize the problem of discovering blind spots in RL as a noisy supervised learning problem with class imbalance. We learn models to predict blind spots in unseen regions of the state space by combining techniques for label aggregation, calibration, and supervised learning. The models take into consideration noise emerging from different forms of oracle feedback, including demonstrations and corrections. We evaluate our approach on two domains and show that it achieves higher predictive performance than baseline methods, and that the learned model can be used to selectively query an oracle at execution time to prevent errors. We also empirically analyze the biases of various feedback types and how they influence the discovery of blind spots.

연구 동기 및 목표

• 시뮬레이션에서의 상태 표현 불일치로 인해 실세계로 정책을 전이할 때 발생하는 안전성 문제를 해결하기 위해.
• 오라클 피드백을 활용해 맹점 탐지를 노이즈가 있고 클래스 불균형한 지도학습 문제로 체계화하기 위해.
• 전문가로부터 수집한 집계된, 校정된 피드백을 이용해 미리보기 불가능한 시뮬레이션 상태에서의 맹점을 학습하여 예측할 수 있는 방법을 개발하기 위해.
• 실세계에서의 비용이 큰 오류를 줄이기 위해 학습된 맹점 모델에 기반해 오라클을 통한 실행을 유도함으로써 오라클 쿼리 수를 최소화하기 위해.

제안 방법

• 실세계에서 고비용 오류가 발생하는 시뮬레이션 상태인지 여부를 나타내는 레이블을 지도학습 문제로 정의한다.
• 오라클로부터 제공하는 다양한 피드백 유형—예시 및 수정 사항—을 활용해 훈련을 위한 노이즈가 있는 레이블을 생성한다.
• 다중 오라클 응답을 통합하여 노이즈를 줄이고 일관성 없는 피드백의 영향을 최소화하기 위해 레이블 집계 기법을 적용한다.
• 희귀하지만 중요한 맹점 상태의 재현율을 높이기 위해 클래스 불균형 문제를 처리하기 위해 예측 모델을 校정한다.
• 상태가 맹점일 가능성을 예측하는 분류기 모델을 학습하여 실행 중에 오라클을 선택적으로 쿼리할 수 있도록 한다.
• 실행 과정에 모델을 통합하여, 오직 높은 가능성의 맹점 상태에서만 오라클 쿼리를 트리거함으로써 오류를 방지한다.

실험 결과

연구 질문

• RQ1 불완전한 상태 표현으로 인한 RL의 맹점은 시뮬레이션 단계에서 실세계 배포 이전에 체계적으로 어떻게 탐지할 수 있는가?
• RQ2 특히 노이즈와 편향이 존재하는 상황에서도 예시 및 수정 사항을 포함한 오라클 피드백이 맹점 탐지 정확도 향상에 어떤 역할을 하는가?
• RQ3 오라클 피드백의 클래스 불균형과 레이블 노이즈를 효과적으로 관리하여 신뢰할 수 있는 맹점 예측 모델을 구축하기 위한 방법은 무엇인가?
• RQ4 학습된 맹점 모델은 실세계 실행에서 비용이 큰 오류를 얼마나 줄일 수 있으며, 동시에 오라클 쿼리 수를 얼마나 최소화할 수 있는가?
• RQ5 다양한 피드백 유형(예: 엄격한 vs. 관대한 오라클)은 맹점 탐지 모델의 성능과 신뢰성에 어떤 영향을 미치는가?

주요 결과

• 제안된 방법은 두 도메인에서 기준선 대비 뛰어난 예측 성능을 보이며, 상태 공간의 새로운 영역에서도 높은 예측 정확도를 확보했다.
• 플래피버드 도메인에서, 이 방법은 NQ 및 AQ 기준선보다 뛰어난 성능을 보였고, 특히 엄격한 오라클 피드백 조건에서 오라클 쿼리 수가 크게 줄었다.
• 관대한 오라클 피드백 조건에서는 D-A(예시 및 수정) 피드백이 초기 예시의 편향으로 인해 위험한 상태를 안전하다고 잘못 레이블링하여 성능이 떨어졌다.
• 분류기의 임계값을 조정하여 오류 비용과 쿼리 비용 간의 균형을 맞출 수 있어, 안전성이 중요한 응용 분야에서 리스크 감수형 배포가 가능하다.
• 연구 결과에 따르면 다양한 피드백 유형은 서로 다른 편향을 유도한다. 예를 들어, 예시가 비핵심 상태에 집중할 경우 잘못된 유도를 초래할 수 있으므로, 도메인 특성에 따라 피드백 유형의 선택이 중요하다.