[논문 리뷰] Active Exploration for Inverse Reinforcement Learning

David Lindner, Andreas Krause외 1명|arXiv (Cornell University)|2022. 07. 18.

Reinforcement Learning in Robotics인용 수 6

한 줄 요약

이 논문은 생성 모델이 필요하지 않은 샘플 복잡도 경계를 가진 첫 번째 주동적 역강화학습 알고리즘인 AceIRL을 제안한다. 이 알고리즘은 환경의 전이 동역학과 전문가 정책에 대한 불확실성을 활성적으로 탐색함으로써, 가능한 보상 함수에 대한 신뢰구간을 구축하고 불확실성을 줄이는 탐색 정책을 선택함으로써, 최악의 경우 생성 모델이 있는 알고리즘과 유사한 샘플 복잡도를 달성하며, 부분 최적성 갭이 유리한 경우 더 날카운 문제 의존적 경계를 제공한다.

ABSTRACT

Inverse Reinforcement Learning (IRL) is a powerful paradigm for inferring a reward function from expert demonstrations. Many IRL algorithms require a known transition model and sometimes even a known expert policy, or they at least require access to a generative model. However, these assumptions are too strong for many real-world applications, where the environment can be accessed only through sequential interaction. We propose a novel IRL algorithm: Active exploration for Inverse Reinforcement Learning (AceIRL), which actively explores an unknown environment and expert policy to quickly learn the expert's reward function and identify a good policy. AceIRL uses previous observations to construct confidence intervals that capture plausible reward functions and find exploration policies that focus on the most informative regions of the environment. AceIRL is the first approach to active IRL with sample-complexity bounds that does not require a generative model of the environment. AceIRL matches the sample complexity of active IRL with a generative model in the worst case. Additionally, we establish a problem-dependent bound that relates the sample complexity of AceIRL to the suboptimality gap of a given IRL problem. We empirically evaluate AceIRL in simulations and find that it significantly outperforms more naive exploration strategies.

연구 동기 및 목표

• 실제 환경에서는 순차적 상호작용만 가능한 상황에서 기존 IRL 방법이 전이 모델이나 전문가 정책을 사전에 알 필요가 있다는 한계를 해결하기 위해.
• 알 수 없는 환경에서 타겟된 탐색을 통해 전문가의 보상 함수를 효율적으로 학습할 수 있는 주동적 IRL 프레임워크를 개발하기 위해.
• 생성 모델에 접근할 수 없는 주동적 IRL에 대해 이론적 샘플 복잡도 경계를 제공하기 위해.
• 전이 모델과 전문가 정책의 추정 오차가 보상 함수 추정 및 후속 정책 성능에 어떻게 영향을 미치는지 규명하기 위해.
• AceIRL가 시뮬레이션 환경에서 단순 탐색 전략보다 뛰어난 성능을 보임을 실증적으로 검증하기 위해.

제안 방법

• AceIRL는 환경 및 전문가와의 순차적 상호작용에서 관측된 데이터를 바탕으로 가능한 보상 함수에 대한 신뢰구간을 구축한다.
• 탐색을 순차적 의사결정 문제로 설정하여, 각 새로운 궤적은 보상 함수 추정의 불확실성을 줄이도록 선택된다.
• 이 알고리즘은 이중 단계 접근법을 사용한다: 현재의 불확실성에 기반한 탐욕적 탐색 전략과, 볼록 최적화를 통해 미래의 불확실성 감소를 예측하는 더 정교한 전략.
• 전이 모델과 전문가 정책의 불확실성 추정치를 통합하여, 보상 함수를 가장 잘 정보화하는 영역을 우선순위로 탐색한다.
• AceIRL는 기본 IRL 솔버로 최대 엔트로피 IRL을 사용하지만, 구체적인 IRL 알고리즘에 대해 무관한 방법이다.
• 이 알고리즘은 각 반복마다 볼록 최적화 문제를 풀어 미래의 기대 불확실성을 최소화하는 다음 탐색 정책을 선택함으로써, 더 날카운 문제 의존적 샘플 복잡도 경계를 가능하게 한다.

실험 결과

연구 질문

• RQ1 생성 모델에 접근할 수 없는 조건에서, 주동적 탐색이 생성 모델이 있는 알고리즘과 유사한 샘플 복잡도를 달성할 수 있는가?
• RQ2 전이 모델과 전문가 정책의 추정 오차가 함께 작용할 때, 복구된 보상 함수의 정확도와 결과 정책의 성능에 어떤 영향을 미치는가?
• RQ3 알 수 없는 환경에서 근사 최적의 보상 함수를 복구하기 위해 필요한 상호작용 수를 최소화하는 탐색 전략은 무엇인가?
• RQ4 부분 최적성 갭과 같은 IRL 문제의 본질적 어려움을 반영하는 문제 의존적 샘플 복잡도 경계를 주동적 IRL에 대해 유도할 수 있는가?
• RQ5 AceIRL의 성능은 샘플 효율성과 수렴 속도 측면에서 단순 탐색 전략과 비교해 어떻게 되는가?

주요 결과

• AceIRL는 생성 모델에 접근할 수 없다는 가정에도 불구하고, 최악의 경우 생성 모델이 있는 주동적 IRL 알고리즘과 유사한 샘플 복잡도를 달성한다.
• 알고리즘은 부분 최적성 갭이 클수록 개선되는 문제 의존적 샘플 복잡도 경계를 제공하며, 이는 더 쉬운 IRL 문제에서 더 빠른 학습을 의미한다.
• 미래의 불확실성 감소를 최적화하는 두 번째 탐색 전략은 탐욕적 전략보다 더 날카운 샘플 복잡도 경계를 제공하지만, 각 반복마다 볼록 최적화 문제를 풀어야 하는 비용이 수반된다.
• 시뮬레이션 환경에서의 실증 평가 결과, AceIRL는 학습 속도와 최종 정책 성능 측면에서 단순 탐색 전략보다 뚜렷이 뛰어난 성능을 보였다.
• 이 방법은 보상 자유 탐색 설정으로 일반화되며, 특히 더 큰 배치 크기에서 기존 베이스라인인 Reward-free UCRL보다 뛰어난 성능을 보였다.
• 저자들은 코드를 공개하여 복제 가능성을 보장하였으며, 이는 생성 모델 없이 주동적 IRL에 대한 추가 연구를 가능하게 한다.