[논문 리뷰] On Computation and Generalization of Generative Adversarial Imitation Learning

Minshuo Chen, Yizhou Wang외 5명|arXiv (Cornell University)|2020. 01. 09.

Reinforcement Learning in Robotics참고 문헌 56인용 수 9

한 줄 요약

이 논문은 생성적 적대적 모방 학습(GAIL)에 대한 최초의 이론적 분석을 제공하며, 통제된 보상 함수 클래스 하에서 통계적 일반화 보장을 확립하고, 재생 커널 기반 보상 파arameterization을 사용할 경우 확률적 1차 최적화의 하위선형 수렴을 증명한다. 이는 GAIL의 경험적 성공과 이론적 이해 사이의 격차를 메우며, 일반화와 계산 효율성 양 측면을 다룬다.

ABSTRACT

Generative Adversarial Imitation Learning (GAIL) is a powerful and practical approach for learning sequential decision-making policies. Different from Reinforcement Learning (RL), GAIL takes advantage of demonstration data by experts (e.g., human), and learns both the policy and reward function of the unknown environment. Despite the significant empirical progresses, the theory behind GAIL is still largely unknown. The major difficulty comes from the underlying temporal dependency of the demonstration data and the minimax computational formulation of GAIL without convex-concave structure. To bridge such a gap between theory and practice, this paper investigates the theoretical properties of GAIL. Specifically, we show: (1) For GAIL with general reward parameterization, the generalization can be guaranteed as long as the class of the reward functions is properly controlled; (2) For GAIL, where the reward is parameterized as a reproducing kernel function, GAIL can be efficiently solved by stochastic first order optimization algorithms, which attain sublinear convergence to a stationary solution. To the best of our knowledge, these are the first results on statistical and computational guarantees of imitation learning with reward/policy function approximation. Numerical experiments are provided to support our analysis.

연구 동기 및 목표

• GAIL의 경험적 성공과 그에 대한 통계적 및 계산적 보장의 부재 사이의 이론적 격차를 메우기 위해.
• 일반적인 보상 함수 파arameterization 하에서 GAIL의 일반화 성질을 분석하기 위해.
• 재생 커널 힐버트 공간(RKHS) 기반으로 파arameterized된 보상 함수를 사용할 경우 GAIL의 계산 수렴 속도를 확립하기 위해.
• 정책 및 보상 공간에서 함수 근사를 적용한 모방 학습에 대해 최초로 통계적 및 계산적 보장을 제공하기 위해.
• 이론적 결과를 수치 실험을 통해 검증하여 분석을 뒷받침하기 위해.

제안 방법

• GAIL을 정책과 보상 함수에 대한 최소화-최대화 최적화 문제로 공식화하며, 전문가의 시연 데이터 기반 평균 보상 값을 부정의 목표 함수로 사용한다.
• 보상 함수 클래스의 복잡도를 통제함으로써 일반화 분석을 도입하여, 적절한 메트릭 엔트로피 조건 하에서 일반화를 보장한다.
• RKHS 기반 보상 파arameterization을 사용한 GAIL을 분석하여, 확률적 1차 방법을 통해 효율적인 해법이 가능함을 보여준다.
• 목표 함수의 미끄럼과 강凸성 성질을 활용하여 기반 경사수단 최적화를 통해 하위선형 수렴 속도를 유도한다.
• 수렴 동역학을 분석하기 위해 생성자 기울기와 판별기의 최적 반응을 포함한 이중 공식을 사용한다.
• 기대 기울기, 강凸성, 리프시츠 연속성에 관한 부등식의 연속적 시퀀스를 활용하여 목표 함수의 기울기 노름을 유계로 제한한다.

실험 결과

연구 질문

• RQ1 전문가의 시연 데이터에서 시간적 의존성이 존재함에도 불구하고 GAIL이 잘 일반화되는 조건은 무엇인가?
• RQ2 임의의 보상 함수 파arameterization 하에서 GAIL에 대해 통계적 일반화를 보장할 수 있는가?
• RQ3 커널 기반 보상 함수를 사용할 경우 GAIL의 계산 수렴 속도는 어떻게 달성할 수 있는가?
• RQ4 정책과 보상 함수 근사 간의 상호작용은 GAIL의 수렴에 어떤 영향을 미치는가?
• RQ5 GAIL 프레임워크 내에서 확률적 1차 알고리즘에 대해 하위선형 수렴을 확립할 수 있는가?

주요 결과

• 보상 함수 클래스의 메트릭 엔트로피가 통제될 경우 GAIL의 일반화가 보장되며, 이는 학습된 정책이 미관측 궤적으로도 일반화됨을 보장한다.
• RKHS 기반 보상 파arameterization을 사용한 GAIL의 경우, 확률적 1차 최적화는 $ O(1/ ext{sqrt}(N)) $ 속도로 정적 해에 하위선형 수렴을 달성한다. 여기서 $ N $은 반복 횟수이다.
• 수렴 속도는 문제에 특화된 상수에 의존한다: $ B_F = rac{12 ho_g^2}{ u} + u M_H $, $ L_ u $, $ S_ u $, 및 $ M_G $로, 이는 기울기 노름과 부드러움을 제어한다.
• 이 방법은 $ ilde{O}ig( rac{( ho_g^2/ u + u M_H)(L_ u + S_ u^2/ u)M_G}{ u^2} ig) $ 번의 반복을 통해 기울기 노름의 $ u $-정확도에 도달한다.
• 수치 실험을 통해 이론적 분석이 검증되었으며, 예측된 수렴 행동과 실제 성능 간의 일치가 확인되었다.
• 이 분석은 함수 근사를 적용한 정책 및 보상 공간에서 모방 학습에 대해 최초로 통계적 및 계산적 보장을 확립하였으며, 이론적 이해의 핵심적 격차를 메웠다.