[논문 리뷰] Towards Resolving Unidentifiability in Inverse Reinforcement Learning

Kareem Amin, Satinder Singh|arXiv (Cornell University)|2016. 01. 25.

Reinforcement Learning in Robotics참고 문헌 16인용 수 14

한 줄 요약

이 논문은 역강화학습(IRL)에서 보상 함수의 기본적인 식별 불가능성 문제를 다루며, 다중 환경 실험 프레임워크를 도입함으로써 이를 해결한다. 학습자가 여러 환경에서 행동을 선택하고 관찰할 수 있도록 허용함으로써, 동일한 정책을 설명할 수 있는 여러 보상 함수가 존재하는 실험적 식별 불가능성 문제를 O(log d)개의 환경으로 제거할 수 있음을 입증한다. 이는 정보 수익을 최대화하는 그리디 활성 학습 알고리즘을 통해 거의 완벽한 보상 복원을 가능하게 한다.

ABSTRACT

We consider a setting for Inverse Reinforcement Learning (IRL) where the learner is extended with the ability to actively select multiple environments, observing an agent's behavior on each environment. We first demonstrate that if the learner can experiment with any transition dynamics on some fixed set of states and actions, then there exists an algorithm that reconstructs the agent's reward function to the fullest extent theoretically possible, and that requires only a small (logarithmic) number of experiments. We contrast this result to what is known about IRL in single fixed environments, namely that the true reward function is fundamentally unidentifiable. We then extend this setting to the more realistic case where the learner may not select any transition dynamic, but rather is restricted to some fixed set of environments that it may try. We connect the problem of maximizing the information derived from experiments to submodular function maximization and demonstrate that a greedy algorithm is near optimal (up to logarithmic factors). Finally, we empirically validate our algorithm on an environment inspired by behavioral psychology.

연구 동기 및 목표

• 단일 환경 관찰에서의 보상 추론 정확도를 제한하는 역강화학습(IRL)에서 보상 함수의 기본적인 식별 불가능성 문제를 해결하기 위해.
• 표현적 식별 불가능성(예: 상수 또는 스케일링된 보상)과 실험적 식별 불가능성(부족한 행동 데이터로 인해 보상을 구분할 수 없음)을 구분하며, 후자가 활성 실험을 통해 제거될 수 있음을 주장하기 위해.
• 학습자가 다수의 환경을 선택하여 에이전트 행동을 관찰할 수 있는 새로운 IRL 프레임워크를 제안하여, 전통적인 단일 환경 IRL보다 더 강력한 식별 보장을 가능하게 하기 위해.
• 실제 제약 조건 하에서 진정한 보상 함수에 대한 정보 수익을 최대화할 수 있도록 환경을 효율적으로 선택하는 그리디 활성 학습 알고리즘을 설계하고 분석하기 위해.
• 심리학 기반의 미로 환경에서 방법을 실증적으로 검증하여, 비적응형 및 단일 환경 IRL 기준선에 비해 뚜렷한 성능 향상을 보여주기 위해.

제안 방법

• 학습자가 고정된 상태-행동 공간 내에서 어떤 전이 동역학도 선택할 수 있도록 하는 모델을 도입함으로써, 소수의 실험으로 보상 함수를 완전히 식별할 수 있도록 한다.
• 실험적 식별 불가능성을 최소화하는 문제를 활성 서브모듈라 함수 최대화 문제로 공식화하며, 이는 일관된 보상 함수 집합의 부피를 줄이는 것을 목표로 한다.
• 순차적으로 환경을 선택하기 위해 그리디 알고리즘을 제안하며, 예산 제약 조건 하에서도 최적해의 로그 수준 이내의 해를 보장하는 이론적 근거를 제공한다.
• 선택된 환경들에서 관찰된 일관된 정책 집합으로부터 선형 프로그래밍과 L2 정규화를 사용해 보상 함수를 추정한다.
• 정책 관찰(에이전트의 전체 최적 정책이 관찰됨)과 궤적 관찰(부분적인 궤적이 제공됨)의 두 가지 설정에서 평가하며, 일관된 성능 향상을 보였다.
• 일관된 보상 집합의 부피를 추정하고 고차원 볼록 집합에서 샘플링하기 위해 MCMC 샘플링(Hit-and-Run)을 활용한다.

실험 결과

연구 질문

• RQ1 활성적 다중 환경 선택을 통해 IRL에서의 실험적 식별 불가능성은 완전히 해결될 수 있는가?
• RQ2 이론적으로 최적의 설정에서 근사적으로 완벽한 보상 복원을 달성하기 위해 필요한 최소 환경 수는 얼마인가?
• RQ3 실제 제약 조건 하에서 진정한 보상 함수에 대한 정보 수익을 최대화하기 위해 학습자가 효율적으로 환경를 선택하는 방법은 무엇인가?
• RQ4 수렴 속도와 보상 추정의 최종 오차 측면에서, 그리디 활성 알고리즘의 성능은 비적응형 기준선과 비교해 어떻게 되는가?
• RQ5 보상 추정 단계에서 정규화 파rameter λ의 선택에 대해 제안된 방법의 민감도는 어떠한가?

주요 결과

• 제한 없이 환경 선택이 가능한 이상적인 설정에서, 제안된 알고리즘은 상태 수 d에 대해 O(log(d/ϵ))개의 환경으로 진정한 보상 함수의 ϵ-식별을 달성한다.
• 제한된 환경 선택이 가능한 제약 조건 하에서는 그리디 알고리즘이 일관된 보상 함수 집합의 부피를 줄이는 데 있어 최적해의 로그 수준 이내의 해를 달성한다.
• 비적응형 방법에 비해 그리디 알고리즘이 훨씬 더 빠르게 수렴한다: 25라운드 후 오차는 0.2687(±0.0302)이며, 비적응형 방법 중 최고 성능는 0.9691(±0.24310)이다.
• 비적응형 방법은 정체되지만, 그리디 알고리즘은 더 많은 라운드 동안 지속적으로 향상되며, 이는 활성 선택이 고정된 샘플링 분포를 넘어서 새로운 정보성 있는 환경에 접근할 수 있음을 시사한다.
• 정규화 파rameter λ의 선택에 대해 방법이 강건하며, 다양한 λ 값 범위에서 성능이 안정적이고 정성적으로 유사하다. 유일하게 비정상적인 행동은 λ ≥ 1일 때 관찰되었다.
• 미로 환경에서의 실증 결과는 활성 다중 환경 IRL이 단일 환경 및 비적응형 다중 환경 기준선에 비해 보상 복원 정확도에서 뚜렷한 우월성을 보임을 확인한다.