[논문 리뷰] On the Global Convergence of Imitation Learning: A Case for Linear Quadratic Regulator

Qi Cai, Mingyi Hong외 2명|arXiv (Cornell University)|2019. 01. 11.

Model Reduction and Neural Networks참고 문헌 47인용 수 15

한 줄 요약

이 논문은 선형 정규화 조절자(LQR)에 대해 교대 그래디언트 디센트를 사용하여 생성적 대립적 복습 학습(GAIL)의 전역 수렴성을 확립하며, 고유한 안정점으로의 Q-선형 수렴 속도를 증명한다. 이 안정점은 전역적으로 최적의 정책과 보상 함수를 복원한다. 주요 기여는 비볼록-볼록 최소화-최대화 최적화에 적합한 새로운 잠재 함수와, 명시적 정규화 없이도 중간 동적 시스템의 안정성을 보장하는 자기강화 안정화 메커니즘이다.

ABSTRACT

We study the global convergence of generative adversarial imitation learning for linear quadratic regulators, which is posed as minimax optimization. To address the challenges arising from non-convex-concave geometry, we analyze the alternating gradient algorithm and establish its Q-linear rate of convergence to a unique saddle point, which simultaneously recovers the globally optimal policy and reward function. We hope our results may serve as a small step towards understanding and taming the instability in imitation learning as well as in more general non-convex-concave alternating minimax optimization that arises from reinforcement learning and generative adversarial learning.

연구 동기 및 목표

• 비볼록-볼록 최소화-최대화 최적화와 불안정한 중간 정책으로 인해 발생하는 복습 학습의 불안정성 문제를 해결하기 위해.
• 일반 강화 학습과 GAN 유사 학습의 核심 과제를 반영하는 기본적인 LQR 설정에서 GAIL의 교대 그래디언트 디센트 수렴 행동을 이론적으로 분석하기 위해.
• 비볼록-볼록 기하학의 결여와 부적절한 중간 보상 함수로 인한 불안정성에도 불구하고, 증명 가능한 수렴 속도를 확보하는 전역 수렴을 확립하기 위해.
• 명시적 정규화 없이도 동적 시스템의 안정성을 암묵적으로 유지하는 솔루션 경로 내의 자기강화 안정화 메커니즘을 식별하고 형식화하기 위해.
• 최근 강화 학습에서의 LQR 기반 분석을 복습 학습으로 확장하여, 더 복잡한 비볼록-볼록 최소화-최대화 문제를 분석할 수 있는 이론적 기반을 제공하기 위해.

제안 방법

• LQR 설정에서 GAIL에 대한 교대 그래디언트 디센트 알고리즘을 제안하며, 정책과 보상 함수를 반복적으로 갱신한다.
• 교대 업데이트를 위한 비볼록-볼록 최소화-최대화 최적화에 특화된 새로운 잠재 함수를 도입하며, 정책과 보상의 그래디언트를 모두 포함한다.
• 자기강화 안정화 메커니즘을 구축: 솔루션 경로가 안정성 한계에 가까워질수록 느리게 접근함으로써 암묵적 장벽을 형성한다.
• Fazel 등 (2018)의 기하학적 보조정리를 활용하여 비용 함수의 행동과 정책 그래디언트, 헤시안 유사 항의 구조를 분석한다.
• 카우치-슈바르츠 부등식과 미세한 연속성 부등식을 사용하여 반복 간 정책과 그래디언트 항의 변화를 경계한다.
• 상태 공분산 행렬의 정의성과 가치 함수, 정책 그래디언트의 연속성을 바탕으로 수렴을 보장한다.

실험 결과

연구 질문

• RQ1 비볼록-볼록 기하학과 불안정한 중간 정책이 존재하는 상황에서도 LQR 설정에서 GAIL의 전역 수렴을 확립할 수 있는가?
• RQ2 GAIL에 대한 교대 그래디언트 디센트 알고리즘이 전역적으로 수렴하는가? 그리고 수렴 속도는 무엇인가?
• RQ3 명시적 정규화 없이도 중간 동적 시스템의 불안정성을 암묵적으로 제어할 수 있는가?
• RQ4 비볼록-볼록 최소화-최대화 문제에서 교대 업데이트 하에 감소 보장이 가능한 잠재 함수가 존재하는가?
• RQ5 최소화-최대화 문제의 고유한 안정점이 전역적으로 최적의 정책과 보상 함수를 복원할 수 있는가?

주요 결과

• 교대 그래디언트 디센트 알고리즘이 최소화-최대화 문제의 고유한 안정점으로 전역 Q-선형 수렴 속도를 달성한다.
• 해당 안정점은 동시에 전역적으로 최적의 정책과 진정한 보상 함수를 복원하여 전문가의 완벽한 복제를 보장한다.
• 모든 중간 동적 시스템이 명시적 정규화 없이도 자기강화 안정화 메커니즘 덕분에 솔루션 경로 동안 안정성을 유지한다.
• 적절한 스텝 사이즈 설정을 통해 수렴이 보장되며, 이는 솔루션 경로가 안정성 한계에 감속하면서 접근함을 보장한다.
• 분석 결과, 기하학적 및 연속성 가정 하에 그래디언트 업데이트와 시스템 안정성 간의 상호작용으로 인해 잠재 함수가 시간이 지남에 따라 감소함을 밝혀냈다.
• 이론적 프레임워크는 최근 강화 학습에서의 LQR 기반 결과를 복습 학습으로 확장하여, 더 복잡한 비볼록-볼록 설정을 분석할 수 있는 기반을 제공한다.