[논문 리뷰] Scalable Bayesian Inverse Reinforcement Learning

Alex Chan, Mihaela van der Schaar|arXiv (Cornell University)|2021. 02. 12.

Reinforcement Learning in Robotics참고 문헌 39인용 수 11

한 줄 요약

이 논문은 신경망을 사용하여 오프라인, 종단 간(end-to-end) 방식으로 보상에 대한 변분 사후분포와 모방 정책을 동시에 학습하는 확장 가능한 베이지안 역강화학습 방법인 AVRIL을 제안한다. 이는 임상 의사결정 및 제어 과제와 같은 복잡한 환경에서 베이지안 보상 추론을 가능하게 하며, 최신의 오프라인 모방학습 성능을 경쟁적으로 달성하면서도 해석 가능한 보상 통찰력과 불확실성 추정을 제공한다.

ABSTRACT

Bayesian inference over the reward presents an ideal solution to the ill-posed nature of the inverse reinforcement learning problem. Unfortunately current methods generally do not scale well beyond the small tabular setting due to the need for an inner-loop MDP solver, and even non-Bayesian methods that do themselves scale often require extensive interaction with the environment to perform well, being inappropriate for high stakes or costly applications such as healthcare. In this paper we introduce our method, Approximate Variational Reward Imitation Learning (AVRIL), that addresses both of these issues by jointly learning an approximate posterior distribution over the reward that scales to arbitrarily complicated state spaces alongside an appropriate policy in a completely offline manner through a variational approach to said latent reward. Applying our method to real medical data alongside classic control simulations, we demonstrate Bayesian reward inference in environments beyond the scope of current methods, as well as task performance competitive with focused offline imitation learning algorithms.

연구 동기 및 목표

• 복잡하고 고차원적인 환경에서 베이지안 역강화학습(BIRL)의 확장성 한계를 해결하기 위해.
• 환경 상호작용 없이 안전한 오프라인 모방학습을 가능하게 하여, 헬스케어와 같은 고위험 적용 분야에 핵심적인 영향을 미치기 위해.
• 보편적인 보상에 대한 사후분포를 제공하여 불확실성을 포착하고, 시연자 선호도를 드러내기 위해.
• 변분 사후분포와 정책 네트워크를 동시에 최적화하여 오토인코더 유사 프레임워크를 구현하기 위해.
• 실제 임상 우선순위(예: 혈압 및 산소 농도)를 반영한 해석 가능한 보상 표현을 제공하기 위해.

제안 방법

• AVRIL은 잠재 보상에 대한 사후분포를 근사하기 위해 변분 베이지안 프레임워크를 사용하며, 보상을 행동의 잠재 표현으로 간주한다.
• 이 방법은 시연 트레이젝터리에서 보상 분포로 매핑하기 위한 인코더 네트워크와 보상에 조건화된 행동을 생성하기 위한 디코더(정책 네트워크)를 활용한다.
• 이 방법은 내부 MDP 해법기의 고비용 반복을 피하기 위해 시연 데이터에 대한 추론을 약어화(amortized)함으로써 오프라인 방식으로 종단 간(end-to-end)으로 훈련된다.
• 보상 사후분포는 약어화된 추론을 통해 근사되며, 이는 큰 상태 공간과 딥 네트워크와 같은 복잡한 함수 클래스로의 확장 가능성을 보장한다.
• 이 프레임워크는 재구성 오차와 KL 발산 항목을 최소화하는 공동 최적화 목표를 통해 민첩한 보상 모델링과 정책 학습을 가능하게 한다.
• 상태 특징에 대한 선형 모델을 통해 해석 가능한 보상 표현을 지원함으로써, 환경적 요인이 보상 수준에 미치는 영향을 이해할 수 있다.

실험 결과

연구 질문

• RQ1 내부 MDP 해법 없이도 복잡하고 고차원적인 환경에 대해 베이지안 역강화학습을 확장시킬 수 있는가?
• RQ2 오프라인 모방학습이 실생활 응용 분야(예: 헬스케어)에서 높은 정책 성능과 의미 있는 보상 추론을 동시에 달성할 수 있는가?
• RQ3 보상 사후분포의 불확실성을 어떻게 활용하여 고위험 의사결정에서의 안전성과 해석 가능성에 기여할 수 있는가?
• RQ4 공동 변분 추론 프레임워크는 정적 시연 데이터로부터 보상과 정책 표현을 효과적으로 학습할 수 있는가?
• RQ5 학습된 보상 모델이 혈관 수축 안정성과 같은 임상적으로 관련 있는 우선순위를 어느 정도 반영할 수 있는가?

주요 결과

• AVRIL은 제어 과제와 실제 의료 데이터에서 특수화된 오프라인 모방학습 알고리즘과 경쟁 가능한 정책 성능을 달성했으며, 이는 완전히 오프라인이고 베이지안임을 고려할 때 놀라운 성과이다.
• 이 방법은 이전에는 BIRL에 비해 해석이 불가능한 복잡한 의료 의사결정(예: MIMIC-III) 환경에서도 성공적으로 베이지안 보상 추론을 수행했다.
• 격자 환경에서 보상 사후분포의 평균은 진정한 보상과 매우 유사하며, 불확실성(표준편차)은 방문하지 않은 상태에 집중되어 있어 지식 부족에 기인한 불확실성(epistemic uncertainty)을 반영한다.
• 선형 보상 모델을 사용할 경우, AVRIL은 상태 품질에 가장 큰 영향을 미치는 요소로 혈압을 특정함으로써 임상 지식과 일치한다.
• 기계적 통기 조치가 혈액 산소 수치가 평균 이하로 떨어질 경우에 크게 보상받는다는 점을 드러내어 직관적이고 임상적으로 타당한 보상 설계를 보여준다.
• 선형 계수 분석을 통해 AVRIL은 혈압과 산소화 수준과 같은 알려진 임상 지표를 우선순위로 삼는 것을 학습함으로써 해석 가능성을 확보한다.