[논문 리뷰] Maximum Likelihood Constraint Inference for Inverse Reinforcement Learning

Dexter R. R. Scobee, Shankar Sastry|arXiv (Cornell University)|2019. 09. 12.

Reinforcement Learning in Robotics참고 문헌 16인용 수 18

한 줄 요약

이 논문은 최대우도 기반 제약 조건 추론 방법을 제안하여, 최대 엔트로피 IRL 프레임워크를 사용해 전문가의 시연 데이터의 우도를 최대화함으로써 마코프 결정 과정(MDP) 내 상태, 행동, 특징 제약 조건을 식별한다. 반복적으로 관측된 행동을 가장 잘 설명하는 제약 조건을 추론함으로써, 적절하게 캘리브레이션된 경우 시뮬레이션 및 인간 주행 작업에서 높은 정확도와 낮은 거짓 긍정 비율을 달성한다.

ABSTRACT

While most approaches to the problem of Inverse Reinforcement Learning (IRL) focus on estimating a reward function that best explains an expert agent's policy or demonstrated behavior on a control task, it is often the case that such behavior is more succinctly represented by a simple reward combined with a set of hard constraints. In this setting, the agent is attempting to maximize cumulative rewards subject to these given constraints on their behavior. We reformulate the problem of IRL on Markov Decision Processes (MDPs) such that, given a nominal model of the environment and a nominal reward function, we seek to estimate state, action, and feature constraints in the environment that motivate an agent's behavior. Our approach is based on the Maximum Entropy IRL framework, which allows us to reason about the likelihood of an expert agent's demonstrations given our knowledge of an MDP. Using our method, we can infer which constraints can be added to the MDP to most increase the likelihood of observing these demonstrations. We present an algorithm which iteratively infers the Maximum Likelihood Constraint to best explain observed behavior, and we evaluate its efficacy using both simulated behavior and recorded data of humans navigating around an obstacle.

연구 동기 및 목표

• 안전 중심 시스템에서 흔히 발생하는 딱딱한 제약 조건을 모델링하는 데에 보상 기반 IRL의 한계를 해결하기 위해.
• 전문가 시연를 가장 잘 설명하는 상태, 행동 또는 특징에 대한 제약 조건을 체계적으로 추론하는 방법을 개발하기 위해.
• 관측된 행동을 설명하는 데 있어 각 제약 조건 유형(상태, 행동, 특징)의 설명력에 기반해 직접 비교하고 순위를 매길 수 있도록 하기 위해.
• 보상 조정에만 의존하는 것보다 제약 조건을 명시적으로 모델링하여 해석 가능성과 정확도를 향상시키기 위해.
• 보상 기반 접근 방식보다 비마르코프적 또는 안전 중심 행동을 더 자연스럽게 다룰 수 있는 프레임워크를 제공하기 위해.

제안 방법

• 기본 MDP와 기본 보상 함수 하에서 전문가 시연의 우도를 계산하기 위해 최대 엔트로피 IRL 프레임워크를 사용한다.
• 후보 제약 조건이 관측된 경로의 확률을 얼마나 잘 향상시키는지 평가하기 위한 우도 기반 기준을 도입한다.
• 현재 모델 대비 우도 향상도를 최대화하는 방식으로 하나씩 제약 조건을 선택하는 반복 알고리즘(알고리즘 2)을 활용한다.
• 과적합과 거짓 긍정을 제어하기 위해 예측된 특징 수와 관측된 특징 수 간의 KL 발산($d_{D_{\text{KL}}}$)에 임계값을 적용한다.
• 시간에 따른 기대 특징 수를 추적하여 제약 조건의 영향을 평가하고, 이전 상태-행동 시퀀스를 통해 비마르코프적 제약 조건의 추론을 지원한다.
• 제약 조건 추론 과정을 초기화하기 위해 제약 조건이 없는 시연 데이터에 대해 최대 엔트로피 IRL을 적용해 도출한 기본 보상 함수를 사용한다.

실험 결과

연구 질문

• RQ1 보상 기반 IRL에 비해 전문가 행동을 더 효과적으로 설명하는 제약 조건을 추론할 수 있는가?
• RQ2 전문가 시연를 설명하는 데 있어 각 제약 조건 유형(상태, 행동, 특징)의 설명력에 기반해 직접 비교하고 순위를 매길 수 있는가?
• RQ3 관측된 행동과 예측된 행동 간의 KL 발산에 대해 어떤 임계값이 정확도와 거짓 긍정 제약 조건 선택 간의 최적의 균형을 이룹니까?
• RQ4 이 방법은 격자 세계 환경에서 인간 주행 데이터로부터 장애물 제약 조건을 성공적으로 추론할 수 있는가?
• RQ5 시연 수가 제약 조건 추론의 신뢰성과 정확도에 어떤 영향을 미치는가?

주요 결과

• 이 방법은 인간 주행 작업에서 중심 장애물을 성공적으로 추론하였으며, 학습된 제약 조건이 장애물 상태의 방문 가능성을 낮추는 데 기여했다.
• 특정 $d_{D_{\text{KL}}}=0.1$ 임계값을 사용할 경우, 충분한 시범 데이터가 있는 경우 낮은 거짓 긍정 비율과 낮은 KL 발산 간의 유리한 균형을 달성했다.
• 10건 미만의 시범 데이터와 낮은 $d_{D_{\text{KL}}}$ 임계값을 사용할 경우, 과적합 위험이 발생하여 낮은 KL 발산이지만 높은 거짓 긍정 비율을 보였다.
• 시범 데이터 수를 늘일수록 거짓 긍정 비율이 감소하고 예측된 행동과 관측된 행동 간의 일치도가 향상되었다.
• 알고리즘이 시뮬레이션 환경과 실제 인간 경로 데이터 양쪽 모두에서 뛰어난 강건성을 보이며, 안전 중심 응용 분야에 대한 잠재력을 보였다.
• 이 방법은 우도 최대화를 통한 상태, 행동, 특징 제약 조건 간 직접적이고 체계적인 비교를 가능하게 하여 이전의 제약 조건 추론 방법보다 뛰어난 성능을 보였다.