[논문 리뷰] Generative Adversarial Imitation Learning with Neural Networks: Global Optimality and Convergence Rate

Yufeng Zhang, Qi Cai외 2명|arXiv (Cornell University)|2020. 03. 08.

Adversarial Robustness in Machine Learning참고 문헌 48인용 수 5

한 줄 요약

이 논문은 두 층의 신경망을 사용하는 생성적 적대적 모방 학습(GAIL)에 대해 처음으로 전역 최적성과 하향 수렴 속도를 확립한다. 교차하는 자연 정책 그래เดียน트와 그래เดียน트 상승 업데이트를 사용하여, 학습된 정책이 $\mathcal{R}$-거리 기준으로 $1/\sqrt{T}$ 속도로 전문가 정책으로 수렴함을 증명하며, 이는 해당 클래스의 모든 보상 함수에서 전역 최적 행동을 보장한다.

ABSTRACT

Generative adversarial imitation learning (GAIL) demonstrates tremendous success in practice, especially when combined with neural networks. Different from reinforcement learning, GAIL learns both policy and reward function from expert (human) demonstration. Despite its empirical success, it remains unclear whether GAIL with neural networks converges to the globally optimal solution. The major difficulty comes from the nonconvex-nonconcave minimax optimization structure. To bridge the gap between practice and theory, we analyze a gradient-based algorithm with alternating updates and establish its sublinear convergence to the globally optimal solution. To the best of our knowledge, our analysis establishes the global optimality and convergence rate of GAIL with neural networks for the first time.

연구 동기 및 목표

• 신경망을 사용하는 GAIL의 경험적 성공과 이론적 이해 사이의 이론적 격차를 메우기 위해.
• 신경망 함수 근사와 함께 비볼록-비강하 최소화 최대화 최적화에서 GAIL의 수렴성과 전역 최적성을 분석하기 위해.
• 복잡한 최적화 구조에도 불구하고 전역 최적 정책으로의 하향 수렴 속도를 확립하기 위해.
• 유한 반복 내에서 클래스 $\mathcal{R}$ 내의 어떤 보상 함수에 대해서도 학습된 정책이 전문가 정책을 능가함을 증명하기 위해.

제안 방법

• 정책과 보상 함수를 두 층의 신경망으로 매개변수화한다.
• 교차 업데이트를 사용: 정책 최적화에는 자연 정책 그래데이언트를, 보상 함수 최적화에는 그래데이언트 상승을 사용한다.
• 자연 정책 그래데이언트의 정책 평가 하위 문제를 해결하기 위해 시간 차분 알고리즘의 변종을 적용한다.
• 전문가 정책과 학습된 정책 사이의 $\mathcal{R}$-거리 추적을 위해 잠재 함수를 구성한다.
• KL 발산과 노름 유계 조건을 활용하여 비볼록-비강하 최소화 최대화 구조를 다룰 수 있는 새로운 분석 프레임워크를 도입한다.
• 근사 오차를 통제하고 수렴을 보장하기 위해 네트워크 가중치와 특징 맵에 대한 가정을 사용한다.

실험 결과

연구 질문

• RQ1 신경망을 사용하는 GAIL은 전역 최적 정책으로 수렴하는가?
• RQ2 교차 업데이트 하에서 신경망을 사용하는 GAIL의 수렴 속도는 무엇인가?
• RQ3 비볼록-비강하 최소화 최대화 구조에도 불구하고 전역 최적성이 보장될 수 있는가?
• RQ4 학습 과정에서 전문가 정책과 학습된 정책 사이의 $\mathcal{R}$-거리 변화는 어떻게 되는가?
• RQ5 분석을 선형 및 표본 설정으로 확장할 수 있는가(비록 주요 초점은 아님)?

주요 결과

• 학습된 정책 $\bar{\pi}$ 는 $\mathcal{R}$-거리 기준으로 $1/\sqrt{T}$ 속도로 전문가 정책 $\pi_{\text{E}}$로 수렴한다.
• $\mathcal{R}$-거리의 정의는 $\mathbb{D}_{\mathcal{R}}(\pi_{\text{E}},\bar{\pi}) = \max_{r\in\mathcal{R}} J(\pi_{\text{E}};r) - J(\bar{\pi};r)$ 이며, 이 값의 감소는 전역 최적성을 보장한다.
• 수렴 속도는 $T$ 반복 이내에 어떤 보상 함수 $r \in \mathcal{R}$ 에 대해서도 학습된 정책가 전문가 정책를 약간 초월함을 의미한다.
• 이 분석은 새로운 잠재 함수 프레임워크 하에서 신경망을 사용하는 GAIL에 대해 처음으로 전역 최적성과 수렴성을 확립한다.
• 수렴 속도는 하향이며, 네트워크 가중치와 특징 맵에 대한 표준 가정 하에서도 성립한다.
• 이 방법은 선형 및 표본 설정에도 적용 가능하지만, 주요 초점은 신경망 함수 근사이다.