[논문 리뷰] Deep Inverse Q-learning with Constraints

Gabriel Kalweit, Maria Huegle외 2명|arXiv (Cornell University)|2020. 08. 04.

Reinforcement Learning in Robotics참고 문헌 22인용 수 4

한 줄 요약

이 논문은 최대 엔트로피 IRL의 계산 비용이 높은 내부 루프를 회피하기 위해 단 한 번의 MDP 해법을 통해 작동하는 새로운 IRL 프레임워크인 제약 조건을 고려한 딥 인버스 Q-러닝을 제안한다. 이는 폐쇄형 보상 복원을 가능하게 하며, 최대 몇 개의 주요 속도 향상과 비선형 보상 함수 및 하드 제약 조건을 지원하여, 단지 30분의 시연만으로도 자율 주행 차선 변경에서 뛰어난 성능을 보인다.

ABSTRACT

Popular Maximum Entropy Inverse Reinforcement Learning approaches require the computation of expected state visitation frequencies for the optimal policy under an estimate of the reward function. This usually requires intermediate value estimation in the inner loop of the algorithm, slowing down convergence considerably. In this work, we introduce a novel class of algorithms that only needs to solve the MDP underlying the demonstrated behavior once to recover the expert policy. This is possible through a formulation that exploits a probabilistic behavior assumption for the demonstrations within the structure of Q-learning. We propose Inverse Action-value Iteration which is able to fully recover an underlying reward of an external agent in closed-form analytically. We further provide an accompanying class of sampling-based variants which do not depend on a model of the environment. We show how to extend this class of algorithms to continuous state-spaces via function approximation and how to estimate a corresponding action-value function, leading to a policy as close as possible to the policy of the external agent, while optionally satisfying a list of predefined hard constraints. We evaluate the resulting algorithms called Inverse Action-value Iteration, Inverse Q-learning and Deep Inverse Q-learning on the Objectworld benchmark, showing a speedup of up to several orders of magnitude compared to (Deep) Max-Entropy algorithms. We further apply Deep Constrained Inverse Q-learning on the task of learning autonomous lane-changes in the open-source simulator SUMO achieving competent driving after training on data corresponding to 30 minutes of demonstrations.

연구 동기 및 목표

• 최대 엔트로피 IRL의 높은 계산 비용을 해결하기 위해 내부 루프에서 반복적인 MDP 해법이 필요로 하는 문제를 해결한다.
• 최적 Q-값에 대한 볼츠만 정책 가정 하에 전문가의 보상 함수를 폐쇄형으로 복원할 수 있도록 한다.
• 내부 루프 최적화 없이도 임의의 비선형 보상 함수를 지원하는 모델링 기반, 샘플링 기반 IRL 변종을 개발한다.
• 실제 응용 가능성을 위해 함수 근사 기법을 사용해 연속 상태 공간으로 프레임워크를 확장한다.
• 시연가 제약 조건을 위반하더라도 행동에 대한 하드 제약 조건을 강제로 적용하여 안전한 모방 학습을 가능하게 한다.

제안 방법

• MDP의 구조와 볼츠만 정책 가정에서 유도된 선형 방정식 시스템을 해결하는 방식으로, IRL을 설정하는 역행 동작가치 반복(IAVI)을 제안한다.
• 행동가에 대한 확률적 가정을 사용하여 행동이 Q-값에 대한 볼츠만 분포에 따라 선택되며, 이는 보상 함수의 해석적 복원을 가능하게 한다.
• 내부 루프에서 MDP 해법을 피하기 위해 이동된 Q-함수를 사용하는 샘플링 기반, 모델리스 변종인 역행 Q-러닝(IQL)을 도입한다.
• 딥 함수 근사 기법을 통해 연속 상태 공간으로 확장하여 딥 인버스 Q-러닝(DIQL)을 도출한다.
• 모의 학습 중에 사전 정의된 하드 제약 조건을 강제로 적용하기 위해 제약 조건이 있는 역행 Q-러닝(CIQL)과 딥 제약 조건이 있는 역행 Q-러닝(DCIQL)을 도입한다.
• 스토케스틱 추정과 함수 근사를 활용해 고차원 및 연속 환경으로 확장 가능하게 한다.

실험 결과

연구 질문

• RQ1 내부 루프에서 반복적인 MDP 해법이 필요 없도록 하여 IRL의 속도를 높일 수 있는가?
• RQ2 Q-값에 대한 볼츠만 정책 가정 하에 전문가의 보상 함수에 대한 폐쇄형 해를 도출할 수 있는가?
• RQ3 내부 루프 최적화 없이도 모델리스 IRL이 임의의 비선형 보상 함수를 지원할 수 있는가?
• RQ4 시연가 제약 조건을 위반하더라도 정책에 하드 제약 조건을 강제 적용할 수 있는가?
• RQ5 학습된 보상 함수는 진짜 즉각적 보상보다 더 빠르고 데이터 효율적인 정책 학습을 가능하게 하는가?

주요 결과

• 제안된 IAVI 알고리즘은 MDP를 단 한 번만 풀기 때문에 최대 엔트로피 IRL 대비 몇 개의 주요 속도 향상을 달성한다.
• IAVI에서 학습된 보상 함수는 진짜 즉각적 보상으로 학습하는 것보다 정책 수렴 속도가 더 빠르며, 이는 부트스트랩 이점이 있음을 시사한다.
• 딥 제약 조건이 있는 역행 Q-러닝(DCIQL)은 SUMO 시뮬레이션에서 약 30분의 제약 없는 시연만으로 안전하고 제약 조건을 충족하는 차선 변경 행동을 성공적으로 학습했다.
• DCIQL은 단지 1,000개의 전문가 시범 샘플(약 1.5시간의 주행)만으로도 뛰어난 데이터 효율성을 보이며 안정적인 성능을 달성했다.
• DCIQL 에이전트는 항상 오른쪽 유지 및 안전성 제약 조건을 충족하면서도 전문가의 예측적 추월 행동을 잘 모방했다.
• CDQN과 비교했을 때, IRL로 학습된 보상 함수를 사용한 에이전트가 훨씬 더 빠르게 수렴했으며, 이는 역행 학습 설정의 유용성을 입증한다.