[논문 리뷰] Apprenticeship Learning for Model Parameters of Partially Observable Environments

Takaki Makino, Johane Takeuchi|arXiv (Cornell University)|2012. 06. 27.

Machine Learning and Algorithms참고 문헌 23인용 수 8

한 줄 요약

이 논문은 부분적으로 관찰 가능한 마르코프 결정 과정(POMDP)에 대해, 전문가의 최적 행동 선택을 분석함으로써 진짜 환경 모델의 파라미터를 추론하는 새로운 앤드서피스러닝 프레임워크를 제안한다. 전문가가 진짜 모델을 알고 있다는 지식을 활용함으로써, 이 방법은 짧은 시범 데이터로부터 POMDP 파라미터 추정과 정책 학습을 향상시키며, 환경 보상에만 의존하는 기존 방법들을 능가한다.

ABSTRACT

We consider apprenticeship learning, i.e., having an agent learn a task by observing an expert demonstrating the task in a partially observable environment when the model of the environment is uncertain. This setting is useful in applications where the explicit modeling of the environment is difficult, such as a dialogue system. We show that we can extract information about the environment model by inferring action selection process behind the demonstration, under the assumption that the expert is choosing optimal actions based on knowledge of the true model of the target environment. Proposed algorithms can achieve more accurate estimates of POMDP parameters and better policies from a short demonstration, compared to methods that learns only from the reaction from the environment.

연구 동기 및 목표

• 진짜 모델이 알려져 있거나 불확실한 부분적으로 관찰 가능한 환경에서의 학습 과제를 해결하기 위해.
• 환경 피드백에만 의존하는 것이 아니라, 전문가의 시범 데이터를 활용하여 POMDP의 파라미터 추정을 향상시키기 위해.
• 짧은 시범 시퀀스로부터 더 효율적이고 정확한 정책 학습을 가능하게 하기 위해.
• 최적성 가정 하에 전문가의 행동 선택 과정을 분석함으로써 기저의 모델 구조와 파라미터를 추론하기 위해.
• 복잡한 부분적으로 관찰 가능한 설정에서 이민 학습과 모델 기반 강화 학습 간 격차를 메우기 위해.

제안 방법

• 이 방법은 전문가가 진짜 POMDP 모델를 알고 있다는 가정 하에 최적의 행동을 선택한다고 보고, 관측된 행동으로부터 모델 파라미터를 추론할 수 있도록 한다.
• 전문가의 최적성 조건을 제약 조건으로 삼아, 전문가의 행동 시퀀스에 대한 최대우도 추정 문제로 문제를 재구성한다.
• 모델 파라미터 추정과 유추된 동역학 기반 정책 개선을 번갈아가며 수행하는 반복적 알고리즘을 사용한다.
• 잠재 상태 변수를 포함한 POMDP에서 정확한 추론이 불가능한 문제를 다루기 위해 변분 추론 프레임워크를 활용한다.
• 모델 파라미터와 정책을 동시에 최적화하기 위해 시범 트레이젝터리와 환경 피드백을 함께 활용한다.
• 기존의 앤드서피스러닝을 확장하여 환경의 전이 및 관측 모델에 대한 불확실성을 명시적으로 모델링한다.

실험 결과

연구 질문

• RQ1 환경 모델이 초기에는 알려져 있지 않은 상황에서, 전문가의 시범 데이터로부터 진짜 POMDP 모델 파라미터를 추론할 수 있는가?
• RQ2 전문가의 최적 행동 선택 행동을 활용하면 어떻게 파라미터 추정 정확도를 향상시킬 수 있는가?
• RQ3 전문가 행동을 통합할 경우, 보상에만 의존하는 학습에 비해 정책 학습 성능이 얼마나 향상되는가?
• RQ4 부분적으로 관찰 가능한 도메인에서 짧은 시범 시퀀스로부터 효과적인 학습을 달성할 수 있는가?
• RQ5 전문가 최적성 가정이 모델 파라미터 추론의 정확성과 강건성에 어떻게 기여하는가?

주요 결과

• 환경 보상에만 의존하는 기준선 방법에 비해 제안된 방법은 훨씬 더 정확한 POMDP 파라미터 추정을 달성한다.
• 특히 낮은 데이터 환경에서 더 적은 시범 에피소드로 고성능 정책에 더 빨리 수렴하는 데 기여한다.
• 모델 정확도와 최종 정책 성능 측면에서 표준 앤드서피스러닝 및 역강화학습 기준선을 모두 능가한다.
• 전문가의 최적성 특성을 모델링함으로써, 노이즈가 많거나 부분적으로 최적의 시범 데이터에 대한 과적합을 줄인다.
• 합성 및 기준 POMDP 작업에서의 실험 결과는 이 방법이 다양한 부분적으로 관찰 가능한 환경에서 잘 일반화됨을 확인한다.
• 알고리즘이 모델 불확실성에 강건하며, 정책 학습의 샘플 효율성을 향상시킨다.