[논문 리뷰] Convergence of Value Aggregation for Imitation Learning

Ching-An Cheng, Byron Boots|arXiv (Cornell University)|2018. 01. 22.

Reinforcement Learning in Robotics참고 문헌 18인용 수 8

한 줄 요약

이 논문은 강화학습에서 가치 집합이 항상 수렴하는 정책 시퀀스를 생성한다는 일반적인 가정을 도전한다. 수렴 여부를 결정짓는 핵심 안정성 상수 θ를 규명하고, 마지막 정책의 성능에 대한 날카운 비점근 경계를 제시하며, θ < 1일 때 수렴이 발생함을 보여준다. 정규화는 마지막 정책을 안정화시켜, 추가적인 모델 선택 없이도 안전하게 사용할 수 있도록 한다.

ABSTRACT

Value aggregation is a general framework for solving imitation learning problems. Based on the idea of data aggregation, it generates a policy sequence by iteratively interleaving policy optimization and evaluation in an online learning setting. While the existence of a good policy in the policy sequence can be guaranteed non-asymptotically, little is known about the convergence of the sequence or the performance of the last policy. In this paper, we debunk the common belief that value aggregation always produces a convergent policy sequence with improving performance. Moreover, we identify a critical stability condition for convergence and provide a tight non-asymptotic bound on the performance of the last policy. These new theoretical insights let us stabilize problems with regularization, which removes the inconvenient process of identifying the best policy in the policy sequence in stochastic problems.

연구 동기 및 목표

• 가치 집합 기반 강화학습에서 생성된 정책 시퀀스의 수렴 행동을 조사한다.
• 시퀀스의 마지막 정책이 수렴하고 잘 작동하는 구조적 조건을 규명한다.
• 결정론적 및 확률론적 설정 모두에서 마지막 정책의 비점근 성능 경계를 제공한다.
• 전체 시퀀스에서 최적의 정책을 선택할 필요 없이 마지막 정책을 안정화시키는 정규화 기법을 개발한다.
• 신경망을 사용하는 비凸 문제에서 AggreVaTe의 경험적 성공을 설명한다.

제안 방법

• 비용 함수의 기울기의 리프시츠 연속성에 기반해 정책 시퀀스 수렴 여부를 결정하는 안정성 상수 θ를 도입한다.
• 안정성 상수 θ를 사용하여 마지막 정책 πN의 성능에 대한 날카운 비점근 경계를 유도한다.
• 강력한 볼록성 항 R(x)를 통한 정규화를 제안하여 효과적 안정성 상수 ˜θ를 1 이하로 낮춰 마지막 정책의 수렴을 보장한다.
• 혼합 정책(예: πn과 π∗의 조합)을 사용하여 혼합 비율 q를 제어함으로써 문제를 안정화시키는 분석을 수행한다.
• 수렴과 일반화 향상을 보장하기 위해 수정된 라운드별 비용 함수 ˆF와 ˜F를 사용하여 AggreVaTe 알고리즘을 적용한다.
• 기울기의 편향 분석을 통해 신경망 정책를 사용하는 비凸 문제에서의 강건성을 설명한다.

실험 결과

연구 질문

• RQ1 가치 집합에 의해 생성된 정책 시퀀스가 수렴하는 조건은 무엇인가?
• RQ2 이론적 불확실성에도 불구하고 실무에서 마지막 정책이 자주 잘 작동하는 이유는 무엇인가?
• RQ3 확률론적 강화학습 문제에서 마지막 정책의 비점근 성능 경계를 제공할 수 있는가?
• RQ4 정규화는 마지막 정책을 어떻게 안정화시키며, 시퀀스에서 최적의 정책을 선택할 필요를 없앨 수 있는가?
• RQ5 가치 집합 과정의 수렴을 결정짓는 문제의 구조적 특성은 무엇인가?

주요 결과

• 가치 집합에서 정책 시퀀스의 수렴 여부는 핵심 안정성 상수 θ에 의해 결정되며, 수렴은 오직 θ < 1일 때 보장된다.
• θ < 1일 때, 마지막 정책 πN의 성능에 대해 J(πN) ≤ J(π∗) + ˜O(1/N)라는 날카운 비점근 경계를 도출하였다.
• θ > 1일 경우, 정책 시퀀스는 발산할 수 있으며, 이는 마지막 정책가 항상 최고라는 일반 히ュ리스틱과 모순된다.
• 강력한 볼록성 항 R(x)를 통한 정규화는 효과적 안정성 상수 ˜θ를 1 이하로 낮춰 마지막 정책의 수렴을 보장한다.
• 정규화로 인한 성능 손실은 오차 항 ˜ǫΠ,π∗에 대해 곱셈 계수 (1 + λ)로 제한되며, 더 큰 정책 클래스를 통해 이를 최소화할 수 있다.
• 기울기 편향 분석을 기반으로 한 이론적 분석은 딥 뉴럴 네트워크 정책를 사용하는 비凸 문제에서 AggreVaTe의 경험적 성공을 설명한다.