[논문 리뷰] Exploring Hierarchy-Aware Inverse Reinforcement Learning

Chris Cundy, Daniel Filan|arXiv (Cornell University)|2018. 07. 13.

Reinforcement Learning in Robotics참고 문헌 13인용 수 3

한 줄 요약

이 논문은 인간의 행동으로부터 계층적 계획(즉, 기본 동작이 아닌 재사용 가능한 옵션을 사용하는 것)을 고려하여 인간 선호도를 추론하는 모델인 베이지안 역계층 강화학습(BIHRL)을 제안한다. BIHRL은 만능 택시 환경과 위키스피디아 게임에서 표준 베이지안 IRL보다 뛰어난 성능을 보이며, 목표 예측 정확도 66%를 달성하여 BIRL의 62%를 상회한다. 이는 계층적 구조가 사전에 약하게 알려져 있을지라도 성립한다.

ABSTRACT

We introduce a new generative model for human planning under the Bayesian Inverse Reinforcement Learning (BIRL) framework which takes into account the fact that humans often plan using hierarchical strategies. We describe the Bayesian Inverse Hierarchical RL (BIHRL) algorithm for inferring the values of hierarchical planners, and use an illustrative toy model to show that BIHRL retains accuracy where standard BIRL fails. Furthermore, BIHRL is able to accurately predict the goals of `Wikispeedia' game players, with inclusion of hierarchical structure in the model resulting in a large boost in accuracy. We show that BIHRL is able to significantly outperform BIRL even when we only have a weak prior on the hierarchical structure of the plans available to the agent, and discuss the significant challenges that remain for scaling up this framework to more realistic settings.

연구 동기 및 목표

• 표준 역강화학습(IRL)이 인간의 비합리성과 계층적 의사결정을 모델링하는 데 한계가 있음을 해결하기 위해.
• 옵션(재사용 가능한 동작 시퀀스)을 사용하여 기본 동작이 아닌 계층적 계획을 모델링하는 베이지안 프레임워크를 개발하기 위해.
• 사람들이 하위목표 기반의 계층적 전략을 사용하는 설정에서 선호도 추론 정확도를 향상시키기 위해.
• 진짜 계층적 구조가 알려져 있지 않거나 약하게만 기술된 경우 모델의 강건성 평가를 위해.
• 실제 인간 경로 데이터(예: 위키스피디아 게임에서의 데이터)에 대해 이론적이고 확장 가능한 성능을 입증하기 위해.

제안 방법

• 사람의 행동을 고수준 행동(옵션) 간 볼츠만-합리적 선택으로 모델링하는 생성 모델을 제안하며, 각 옵션은 정책, 시작 집합, 종료 함수를 가진다.
• Ramachandran & Amir (2007)의 Policy-Walk 알고리즘을 확장하여 계층적 MDP 프레임워크 내에서 보상과 옵션에 대한 베이지안 추론을 수행한다.
• 최대 세 개의 결정성 옵션 집합에 대한 사전 분포를 사용하여, 구조화된 환경에서 인간의 가능성을 고려한 기술을 모델링한다.
• 잠재적 옵션 집합에 대한 마르코프 체인 몽테카를로(MCMC) 샘플링을 활용하여 보상 함수에 대한 사후 분포를 추론한다.
• 모델을 토이 택시 환경과 위키스피디아 웹 탐색 게임에 적용하여 표준 BIRL과 성능을 비교한다.
• 행동를 생성하는 데 사용된 동일한 확률적 정책을 기반으로 Q-값을 계산하는 자기 일관성 있는 볼츠만 정책을 통합한다.

실험 결과

연구 질문

• RQ1 계층적 계획을 고려한 베이지안 역강화학습 모델이 선호도 추론에서 표준 BIRL보다 뛰어나게 성능을 내는가?
• RQ2 계층적 옵션의 포함 여부가 실제 탐색 과업에서 인간의 목표 예측 정확도에 어떤 영향을 미치는가?
• RQ3 진짜 옵션 구조가 사전에 알려져 있지 않을 경우 BIHRL이 얼마나 정확한 선호도를 추론할 수 있는가?
• RQ4 옵션에 대한 약한 사전 정보만 있을 때도 BIHRL이 BIRL보다 성능 우위를 유지하는가?
• RQ5 복잡한 인간 행동을 보이는 큰 현실 환경으로 이 프레임워크를 확장할 때의 계산적 및 확장성 도전 과제는 무엇인가?

주요 결과

• 토이 택시 환경에서 BIHRL은 진정한 보상에 대해 0.55의 확률 질량을 할당한 반면, 표준 BIRL은 0.03 미만이었으며, 이는 사후 신뢰도에서 20배 향상된 것으로 나타났다.
• 위키스피디아 데이터셋에서 BIHRL은 목표 예측 정확도를 BIRL 기준 62%에서 66%로 높여, 수작업 특징 설계 없이도 뚜렷한 성능 향상을 보였다.
• 진짜 옵션 집합이 사전에 알려져 있지 않아도, 유의미한 옵션에 대한 약한 사전 정보만으로도 모델이 정확한 보상 함수를 높은 사후 확률로 추론하는 데 성공했다.
• 다양한 합리성 수준(β)에서 BIHRL의 성능 향상은 BIRL 대비 우수성을 유지했으며, 인간의 비최적 행동 수준이 다양할 때도 효과적임을 보였다.
• 모든 가능한 옵션 집합에 대한 완전한 마진화가 계산적으로 불가능하더라도, MCMC 기반 추론 절차는 소규모 환경에서의 실현 가능성을 입증했다.
• 결과적으로, 표준 IRL은 옵션을 사용해 비최적의 방식으로 계획할 경우 실패하므로, 정확한 선호도 추론을 위해서는 계층적 구조가 핵심 요소임을 시사한다.