[논문 리뷰] Risk-Aware Active Inverse Reinforcement Learning

Daniel S. Brown, Yuchen Cui외 1명|arXiv (Cornell University)|2019. 01. 08.

Machine Learning and Algorithms참고 문헌 23인용 수 19

한 줄 요약

이 논문은 일반화 오차의 잠재적 위험을 기반으로 쿼리를 선택하는 리스크 인식형 주동적 역강화학습(Risk-Aware Active Inverse Reinforcement Learning, IRL)을 제안한다. 이는 성능 손실이 가장 클 가능성이 높은 상태에서의 위험을 최소화하기 위해 Value-at-Risk (VaR) 경계를 사용한다. 이는 표본 효율성에서 엔트로피 기반 및 정보 수익 기반 방법을 능가하며, 안전한 의사결정을 위한 날카운 가용한 성능 상한선을 제공한다.

ABSTRACT

Active learning from demonstration allows a robot to query a human for specific types of input to achieve efficient learning. Existing work has explored a variety of active query strategies; however, to our knowledge, none of these strategies directly minimize the performance risk of the policy the robot is learning. Utilizing recent advances in performance bounds for inverse reinforcement learning, we propose a risk-aware active inverse reinforcement learning algorithm that focuses active queries on areas of the state space with the potential for large generalization error. We show that risk-aware active learning outperforms standard active IRL approaches on gridworld, simulated driving, and table setting tasks, while also providing a performance-based stopping criterion that allows a robot to know when it has received enough demonstrations to safely perform a task.

연구 동기 및 목표

• 기존 주동적 IRL 방법들이 불확실성 감소에 집중하는 데 반해 실제 정책 리스크에 대한 인식이 부족한 문제를 해결하기 위해.
• 학습된 정책이 진정한 보상 함수 하에서 일반화가 잘 되지 않을 가능성이 있는 상태에서 로봇이 인간에게 주도적으로 쿼리를 요청할 수 있도록 하기 위해.
• 안전한 작업 수행을 위해 충분한 시범 데이터가 수집되었는지 나타내는 성능 기반의 정지 기준을 제공하기 위해.
• 최근의 IRL을 위한 날카운 성능 경계 기술을 활용하여, 불확실성 대신 실제 정책 리스크에 기반한 주동 학습 결정을 내릴 수 있도록 하기 위해.

제안 방법

• 이 방법은 시범 경로로부터 보상 함수의 사후 분포를 유지하기 위해 베이지안 IRL을 사용한다.
• 로봇은 보상 함수의 사후 분포 전역에서 최악의 성능을 추정하여 각 후보 쿼리 설정에서 정책 손실의 Value-at-Risk (VaR)을 계산한다.
• 일반화 오차가 클 가능성이 가장 높은 상태를 최소화하기 위해, α-VaR(예: 0.95-VaR)가 가장 높은 쿼리 설정을 선택한다.
• MCMC 샘플링을 사용해 보상 함수의 사후 분포를 추정하고, MAP 보상 함수에 대한 배치 손실을 계산하여 VaR를 산정한다.
• 0.95-VaR 경계가 사전 정의된 임계값 이하로 떨어지면 안전한 정책 구현이 가능하다는 것을 나타내는 정지 조건을 통합한다.
• 이 방법은 인위적 시범 데이터와 실제 검증을 포함한 격자세계, 시뮬레이션 주행, 실제 로봇 테이블 정리 작업에서 평가되었다.

실험 결과

연구 질문

• RQ1 불확실성 또는 정보 수익이 아닌 정책 일반화 오차의 리스크에 기반해 쿼리를 우선순위화할 수 있는 주동적 IRL을 설계할 수 있는가?
• RQ2 VaR 기반 성능 경계가 진정한 보상이 알려지지 않은 상황에서 정책 손실에 대해 날카운 의미 있는 상한선을 제공할 수 있는가?
• RQ3 리스크 인식형 쿼리 선택이 기존 주동적 IRL 방법에 비해 더 빠른 수렴과 낮은 일반화 오차를 이끌 수 있는가?
• RQ4 VaR 경계가 주동적 학습에서 IRL의 정지 기준으로 신뢰할 수 있는가?

주요 결과

• 테이블 정리 작업에서 리스크 인식형 주동적 IRL은 랜덤 및 엔트로피 기반 쿼리 전략보다 평균 배치 오차가 유의미하게 낮게 유지되었으며, 10회의 시범 데이터에서 오차가 30~50% 감소했다.
• 모든 실험에서 실제 최악의 경우 배치 손실을 정확하고 날카운 상한선으로 잘 둘러싸며, 더 많은 시범 데이터가 수집될수록 점점 더 날카워졌다.
• 정보 수익 기반 주동적 IRL보다 계산 비용을 약 3개 주기 정도 줄였지만, 동일하거나 더 나은 성능을 달성했다.
• 이 방법은 의미 있는 정지 조건을 제공했다: 0.95-VaR 경계가 임계값 이하로 내려가면 더 이상 쿼리 없이도 안전하게 작업을 수행할 수 있었다.
• 시뮬레이션 주행 및 격자세계 작업에서 리스크 인식형 쿼리 선택은 엔트로피 기반 쿼리보다 정책 일반화 오차를 더 효과적으로 줄였다. 특히 불확실성이 높은 영역에서 두드러진 성능 향상이 관찰되었다.
• 실제 로봇 검증을 통해 리스크 인식형 쿼리로 학습된 정책이 랜덤 또는 엔트로피 기반 쿼리로 학습된 정책보다 더 나은 일반화 성능을 보였으며, 새로운 테스트 설정에서도 뛰어난 성능을 보였다.