[논문 리뷰] Density Matching Reward Learning

Sungjoon Choi, Kyungjae Lee외 2명|arXiv (Cornell University)|2016. 08. 12.

Reinforcement Learning in Robotics참고 문헌 24인용 수 5

한 줄 요약

이 논문은 밀도 매칭을 통한 보상 학습(DMRL)을 제안하며, 이는 전문가의 상태-행동 분포를 밀도 매칭을 통해 추론함으로써 모델에 의존하지 않는 역강화학습 방법이다. 커널 기반 함수 근사 기법을 활용한 커널 DMRL(KDMRL)은 재생 힐버트 공간(RKHS) 내에서 비선형 설정으로 확장되며, 격자 세계와 자율 주행 실험에서 더 높은 안전성, 안정성 및 모방 정확도를 달성하여 뛰어난 성능을 보였다.

ABSTRACT

In this paper, we focus on the problem of inferring the underlying reward function of an expert given demonstrations, which is often referred to as inverse reinforcement learning (IRL). In particular, we propose a model-free density-based IRL algorithm, named density matching reward learning (DMRL), which does not require model dynamics. The performance of DMRL is analyzed theoretically and the sample complexity is derived. Furthermore, the proposed DMRL is extended to handle nonlinear IRL problems by assuming that the reward function is in the reproducing kernel Hilbert space (RKHS) and kernel DMRL (KDMRL) is proposed. The parameters for KDMRL can be computed analytically, which greatly reduces the computation time. The performance of KDMRL is extensively evaluated in two sets of experiments: grid world and track driving experiments. In grid world experiments, the proposed KDMRL method is compared with both model-based and model-free IRL methods and shows superior performance on a nonlinear reward setting and competitive performance on a linear reward setting in terms of expected value differences. Then we move on to more realistic experiments of learning different driving styles for autonomous navigation in complex and dynamic tracks using KDMRL and receding horizon control.

연구 동기 및 목표

• 모델 역학 또는 상태 이산화 없이 전문가의 행동 데이터로부터 보상 함수를 학습하는 데 도전하는 것.
• 일반화성과 이식 가능성 향상을 위해 전문가의 상태-행동 분포를 직접 매칭하는 모델에 의존하지 않는 역강화학습 방법을 개발하는 것.
• 재생 힐버트 공간(RKHS) 내에서 커널 기반 함수 근사 기법을 사용하여 비선형 보상 함수로의 확장을 이루는 것.
• 약한 가정 하에서 제안된 방법의 이론적 표본 복잡도를 분석하는 것.
• 다양한 주행 스타일을 포함한 구조적 격자 세계 환경과 현실적인 자율 주행 시나리오에서의 성능 평가를 수행하는 것.

제안 방법

• 핵심 방법은 전문가 트레이젝터리로부터 경험적 상태-행동 분포를 계산하고, 이 분포와의 내적 곱을 최대화하도록 보상 함수를 최적화하여 전문가의 행동 분포를 효과적으로 매칭한다.
• 이 방법은 밀도 매칭 문제로 공식화되며, 환경의 역학이나 가치 함수 근사 없이도 전문가의 궤적 분포와 일치하는 보상 함수를 학습한다.
• 비선형 설정에서는 KDMRL이 재생 힐버트 공간(RKHS) 내에서 커널 기반 함수 근사를 사용하여 민감한 보상 함수 모델링을 가능하게 한다.
• KDMRL의 파라미터는 반복 최적화 방식보다 훨씬 낮은 계산 비용을 가지는 커널 방법을 통해 해석적으로 계산된다.
• 이론적 분석을 통해 약한 정규성 가정 하에서 최적 정책과 추정 정책 간의 가치 차이의 표본 복잡도를 유도한다.
• 실시간 동적 환경(예: 자율 주행)에서의 구현을 위해 이 방법은 후행 시간 제어와 결합된다.

실험 결과

연구 질문

• RQ1 모델에 의존하지 않는 역강화학습 방법이 모델 역학이나 상태 이산화 없이도 높은 모방 성능을 달성할 수 있는가?
• RQ2 기존의 마진 기반 또는 확률 기반 IRL 방법과 비교해 볼 때, 전문가의 상태-행동 분포를 밀도 매칭하는 방식은 표본 효율성과 성능 면에서 어떻게 다른가?
• RQ3 RKHS 내에서 커널 기반 함수 근사를 통해 연속적인 상태-행동 공간에서 비선형 보상 함수를 효과적으로 학습할 수 있는가?
• RQ4 제안된 방법이 다양한 주행 스타일 간에 얼마나 잘 일반화되며, 동적 환경에서 안정성과 안전성을 유지하는가?
• RQ5 기본적인 정규성 조건 하에서 제안된 밀도 매칭 접근법의 이론적 표본 복잡도는 얼마인가?

주요 결과

• 격자 세계 실험에서 KDMRL은 비선형 보상 설정에서 모델 기반 및 모델에 의존하지 않는 IRL 기준선을 모두 능가하며, 더 낮은 기대 값 차이를 달성했다.
• 선형 보상 설정에서는 최신 기술 대비 경쟁 가능한 성능을 보이며, 다양한 보상 구조에 대한 강건성을 입증했다.
• 트랙 주행 실험에서는 훈련된 시나리오에서 충돌이 전혀 발생하지 않았으며, 특히 뒷따라오는 모드에서 78.3%의 충돌률을 기록한 GPIRL에 비해 뚜렷이 뛰어난 성능을 보였다.
• KDMRL은 절대적인 차선 이탈 거리가 가장 낮고, 차선 변경 횟수도 가장 적어, 모든 주행 모드에서 뛰어난 안정성과 차선 유지 성능을 보였다.
• 이식된 시나리오에서는 최소한의 편차로 뛰어난 성능을 유지했으며, 고속 주행 모드에서 특히 우수한 차선 유지 능력을 보였다.
• 이 방법은 높은 이식 가능성과 안전성을 입증했으며, 안전, 빠른, 공격적인 주행 스타일을 포함한 전문가 행동과 밀도 있게 일치하는 궤적을 생성했다.