[논문 리뷰] On the Correctness and Sample Complexity of Inverse Reinforcement Learning

Abi Komanduru, Jean Honorio|arXiv (Cornell University)|2019. 01. 01.

Gene Regulatory Network Analysis인용 수 5

한 줄 요약

이 논문은 유한 MDP에 대해 역강화학습(IRL)의 기하학적이고 알고리즘에 종속되지 않는 분석을 제안하며, 주어진 최적 정책을 유도하는 보상 함수를 복원하기 위해 L1-정규화된 서포트 벡터 머신(SVM) 설정을 제안한다. 이는 벨만 최적성 조건을 만족하는 보상 함수를 복원하기 위한 표본 복잡도 $ O(d^2 "log(nk)) $ 를 확립한다. 여기서 $ d $ 는 전이 행렬의 각 행당 최대 비제로 원소 수, $ n $ 은 상태 수, $ k $ 는 행동 수이다.

ABSTRACT

Inverse reinforcement learning (IRL) is the problem of finding a reward function that generates a given optimal policy for a given Markov Decision Process. This paper looks at an algorithmic-independent geometric analysis of the IRL problem with finite states and actions. A L1-regularized Support Vector Machine formulation of the IRL problem motivated by the geometric analysis is then proposed with the basic objective of the inverse reinforcement problem in mind: to find a reward function that generates a specified optimal policy. The paper further analyzes the proposed formulation of inverse reinforcement learning with $n$ states and $k$ actions, and shows a sample complexity of $O(d^2 \log (nk))$ for transition probability matrices with at most $d$ non-zeros per row, for recovering a reward function that generates a policy that satisfies Bellman's optimality condition with respect to the true transition probabilities.

연구 동기 및 목표

• 유한 상태 및 유한 행동 MDP에서 역강화학습 문제에 대해 기하학적이고 알고리즘에 종속되지 않는 분석을 제공하는 것.
• 진짜 전이 확률에 대해 벨만 최적성 조건을 만족하는 학습된 정책을 보장하는 보상 함수 복원 방법을 개발하는 것.
• 전이 행렬의 희소성 제약 조건 하에서 IRL의 표본 복잡도 한계를 설정하는 것.

제안 방법

• 정책 공간에서 최적 정책과 보상 함수의 구조를 분석함으로써 IRL 문제를 기하학적 최적화 과제로 공식화하는 것.
• 복원된 보상 함수의 희소성을 증진시키기 위해 L1-정규화된 서포트 벡터 머신(SVM) 프레임워크를 도입하여 IRL 문제를 해결하는 것.
• 최적 정책이 벨만 최적성 조건으로 정의된 반공간의 교차점에 위치한다는 기하학적 통찰을 활용하는 것.
• 학습된 보상 함수가 진짜 동역학 하에 목표 정책을 생성하도록 보장하는 볼록 최적화 공식화를 도출하는 것.
• 전이 확률 행렬의 각 행이 최대 $ d $ 개의 비제로 원소를 가진다는 가정 하에서 표본 복잡도를 분석하는 것.
• 유효한 보상 함수를 복원하기 위해 필요한 시연 수의 이론적 한계를 설정하는 것.

실험 결과

연구 질문

• RQ1 유한 MDP에서 역강화학습 문제의 근본적인 기하학적 구조는 무엇인가?
• RQ2 진짜 동역학 하에서 주어진 최적 정책을 유도하는 보상 함수를 효율적으로 복원하는 방법은 무엇인가?
• RQ3 벨만 최적성 조건을 만족하는 보상 함수를 복원하기 위해 필요한 최소 시범 수는 얼마인가?
• RQ4 전이 행렬의 희소성은 IRL의 표본 복잡도에 어떤 영향을 미치는가?
• RQ5 L1-정규화된 SVM과 같은 볼록 최적화 공식화는 이론적 보장과 함께 IRL에 효과적으로 적용될 수 있는가?

주요 결과

• 제안된 L1-정규화된 SVM 공식화는 기하학적으로 탄탄하고 볼록적인 역강화학습 접근법을 제공한다.
• 이 방법은 복원된 보상 함수가 진짜 전이 확률에 대해 벨만 최적성 조건을 만족하는 정책을 생성함을 보장한다.
• 이 방법의 표본 복잡도는 $ O(d^2 \log(nk)) $ 이며, 여기서 $ d $ 는 전이 행렬의 각 행당 최대 비제로 원소 수이다.
• 이 한계는 $ nk $ 의 곱에 대해 로그적으로 의존하므로 상태 및 행동 공간 크기에 따라 확장 가능함을 나타낸다.
• 분석 결과, 전이 행렬의 희소성이 신뢰할 수 있는 보상 함수 복원을 위해 필요한 시범 수를 감소시킴을 보여준다.
• 이론적 프레임워크는 특정 IRL 알고리즘에 종속되지 않으며, 향후 방법의 일반적인 기하학적 기초를 제공한다.