[논문 리뷰] Provable Hierarchical Imitation Learning via EM

Zhe Zhang, Ioannis Ch. Paschalidis|arXiv (Cornell University)|2020. 10. 07.

Robot Manipulation and Learning참고 문헌 41인용 수 4

한 줄 요약

이 논문은 계층적 암시 학습(HIL)을 위한 증명 가능하게 수렴하는 EM 기반 알고리즘을 제안하며, HIL을 잠재변수 모델에서의 매개변수 추론 문제로 재정의한다. 정규성 조건 하에서, 이 알고리즘은 참 매개변수를 중심으로 한 노름 구역으로 높은 확률로 수렴하며, 관측된 옵션 없이 또는 감독 없이도 비분할 상태-행동 시퀀스만을 사용하는 HIL에 대해 처음으로 이론적 보장을 제공한다.

ABSTRACT

Due to recent empirical successes, the options framework for hierarchical reinforcement learning is gaining increasing popularity. Rather than learning from rewards which suffers from the curse of dimensionality, we consider learning an options-type hierarchical policy from expert demonstrations. Such a problem is referred to as hierarchical imitation learning. Converting this problem to parameter inference in a latent variable model, we theoretically characterize the EM approach proposed by Daniel et al. (2016). The population level algorithm is analyzed as an intermediate step, which is nontrivial due to the samples being correlated. If the expert policy can be parameterized by a variant of the options framework, then under regularity conditions, we prove that the proposed algorithm converges with high probability to a norm ball around the true parameter. To our knowledge, this is the first performance guarantee for an hierarchical imitation learning algorithm that only observes primitive state-action pairs.

연구 동기 및 목표

• 계층적 암시 학습(HIL) 분야에서 이론적 기반의 부족을 해결하기 위해, 기존 방법들이 주로 경험적이고 일반화 보장이 없는 문제를 다룬다.
• HIL을 잠재변수 모델 추론 문제로 정식화하여 학습 알고리즘의 엄밀한 분석을 가능하게 한다.
• 특히 시간적 상관관계가 있는 샘플에 직면한 상황에서도 HIL에서 EM 알고리즘의 수렴 보장을 수립한다.
• 유한 샘플 EM 성능과 인구 수준의 수렴 간 격차를 메우며, 초기화에 대한 강건성을 확보한다.
• 로봇 공학 및 딥 강화학습 분야에서 EM 기반 HIL 방법의 실용적 성공에 대한 이론적 근거를 제공한다.

제안 방법

• 옵션이 관측되지 않으며 비분할 상태-행동 시퀀스에서 유추되어야 하는 잠재변수 모델에서의 매개변수 추론 문제로 HIL를 재정의한다.
• 기대최대화(EM) 알고리즘을 도입하여 E단계와 M단계를 반복적으로 수행함으로써 고수준 정책과 옵션 매개변수를 함께 추정한다.
• 유한 샘플 근사의 무한한 샘플 극한을 이용해 정의된 인구 수준의 EM 알고리즘을 이론적 중간 도구로 도입하여 참 매개변수로의 수렴을 보장한다.
• 유한 샘플 EM 알고리즘을 인구 수준의 EM에 대한 교란으로 분석하여, 참 매개변수를 중심으로 한 노름 구역으로 높은 확률로 수렴함을 증명한다.
• 시간적 상관관계가 있는 데이터 조건 하에서도, 유한 샘플 Q함수의 확률적 수렴을 보장하며, 인구 수준의 Q함수로 수렴함을 입증한다.
• 일致한 잊혀짐 원리와 농도 불등식을 활용하여 표본 무작위성의 영향을 통제하고 초기화에 대한 강건성을 확보한다.

실험 결과

연구 질문

• RQ1 계층적 암시 학습을 위한 EM 알고리즘이 이론적으로 수렴 보장을 갖출 수 있는가?
• RQ2 기본 상태-행동 쌍만 관측 가능한 상황에서 알고리즘이 참 매개변수의 이웃으로 수렴하는가?
• RQ3 알고리즘 성능은 초기화, 샘플 크기, 모델 복잡도에 어떻게 영향을 받는가?
• RQ4 시간적 시리즈 잠재변수 모델에서 종속된 샘플을 갖는 HIL와 같은 상황에 대해 인구 수준의 EM 프레임워크를 어떻게 적용할 수 있는가?
• RQ5 표본 변동성과 유한한 데이터가 HIL에서 EM 알고리즘 수렴에 미치는 영향은 무엇인가?

주요 결과

• 정규성 조건 하에서, HIL에 대한 EM 알고리즘은 참 매개변수를 중심으로 한 노름 구역으로 높은 확률로 수렴하며, 비분할 시퀀스만을 사용하는 HIL에 대해 처음으로 이론적 성능 보장을 제공한다.
• 인구 수준의 EM 알고리즘은 참 매개변수로 수렴하고, 유한 샘플 EM 알고리즘은 조건부 상관관계가 있는 시간적 시리즈 데이터 조건 하에서도 참 매개변수의 이웃으로 높은 확률로 수렴한다.
• 초기화에 대한 강건성이 확보되어 있으며, 경험적 검증 결과 10회 반복 이내에 추정 오차가 최소 50% 감소하는 것이 확인되었다.
• 샘플 크기 T가 크면 잊혀짐 계수 μ의 최종 성능에 미치는 영향은 미미하며, N=1000회 반복 시 μ 값 간 최대 성능 차이가 0.7% 이내로 나타난다.
• 무작위 초기화 실험 결과 국소 수렴이 확인되었으며, 초기 오차가 중간 수준일 경우(예: w=0.2) 성공하고, 초기 오차가 클 경우(예: w=0.3) 실패하며, 최적에 가까운 초기 상태일 경우(예: w=0.1)는 향상이 거의 없음을 보였다.
• 여러 T 값(5000, 8000, 10000)에서 초기 단계의 추정 오차 감소가 지수적 감소 패턴을 보이며, 알고리즘의 초기 단계에서 일반적인 수렴 패턴이 존재함을 시사한다.