[논문 리뷰] On Connections between Constrained Optimization and Reinforcement Learning

Nino Vieillard, Olivier Pietquin외 1명|arXiv (Cornell University)|2019. 10. 18.

Reinforcement Learning in Robotics참고 문헌 20인용 수 7

한 줄 요약

이 논문은 제약 최적화와 강화 학습 간의 공식적인 알고리즘적 연결을 수립하여, 세 가지 동적 프ogram밍 기법—보수 정책 반복(Conservative Policy Iteration), 거울 강하 수정 정책 반복(Mirror Descent Modified Policy Iteration), Politex—를 각각 기본적인 볼록 최적화 알고리즘인 프랭크-울프(Frank-Wolfe), 거울 강하(Mirror Descent), 이중 평균화(Dual Averaging)와 연결한다. 핵심 기여는 공통된 구조적 원리를 드러내는 통합 프레임워크를 제공함으로써 최적화 이론과 RL 간의 상호 교류를 가능하게 하여 보다 효율적이고 분석 가능한 알고리즘 설계를 가능하게 한다.

ABSTRACT

Dynamic Programming (DP) provides standard algorithms to solve Markov Decision Processes. However, these algorithms generally do not optimize a scalar objective function. In this paper, we draw connections between DP and (constrained) convex optimization. Specifically, we show clear links in the algorithmic structure between three DP schemes and optimization algorithms. We link Conservative Policy Iteration to Frank-Wolfe, Mirror-Descent Modified Policy Iteration to Mirror Descent, and Politex (Policy Iteration Using Expert Prediction) to Dual Averaging. These abstract DP schemes are representative of a number of (deep) Reinforcement Learning (RL) algorithms. By highlighting these connections (most of which have been noticed earlier, but in a scattered way), we would like to encourage further studies linking RL and convex optimization, that could lead to the design of new, more efficient, and better understood RL algorithms.

연구 동기 및 목표

• 강화 학습의 동적 프로그래밍 기법과 볼록 최적화 알고리즘 간의 알고리즘적 유사성을 공식화하기.
• 이전에 별개 또는 비형식적으로 관찰된 RL과 최적화 간의 다수의 연결 고리를 통합하여 통일된 관점 제공하기.
• 정규화 및 수렴 분석과 같은 최적화 기법을 RL 알고리즘 설계에 이식할 수 있도록 하기.
• 최적화 이론적 시각을 통해 현대 RL 알고리즘을 이해하고 개선하기 위한 더 명확한 이론적 기반 제공하기.
• 볼록 최적화에서의 통찰을 활용하여 더 효율적이고 더 잘 이해할 수 있는 새로운 RL 알고리즘 설계를 유도하기.

제안 방법

• 상태-행동 가치 함수를 기울기 추정치로 사용하여 보수 정책 반복의 반복적 구조를 프랭크-울프 알고리즘과 연결하기.
• 정책 갱신을 Bregman 발산 정규화와 일치시켜 거울 강하 수정 정책 반복과 거울 강하 알고리즘 간의 동치성을 확립하기.
• 정책 갱신이 누적된 상태-행동 가치 추정치에 기반하고 엔트로피로 정규화되는 방식으로 Politex를 이중 평균화 체계로 재해석하기.
• 부분적 정책 평가를 허용하면서도 알고리즘 유사성을 유지하는 수정 정책 반복 프레임워크로 이러한 연결을 일반화하기.
• 벨먼 연산자와 가치 함수 동역학을 사용하여 최적화 단계와 RL 정책 개선 간의 유사성을 유도하기.
• 공통된 갱신 규칙을 통해 대응을 공식화하기: 정책 갱신은 선형 항의 최대화에서 정규화 항을 뺀 형태이며, 기울기를 추정된 Q-값으로 대체함.

실험 결과

연구 질문

• RQ1 보수 정책 반복과 프랭크-울프 알고리즘 간의 정책 개선 및 수렴 성질을 비교할 때 어떤 유사성과 차이가 있는가?
• RQ2 거울 강하 수정 정책 반복은 볼록 최적화에서의 거울 강하 알고리즘과 어떤 방식으로 유사한 행동을 하는가?
• RQ3 이중 평균화 체계와 Politex 알고리즘 간의 정책 갱신 규칙에 대한 정확한 연결 고리는 무엇인가?
• RQ4 이러한 RL 및 최적화 알고리즘 간의 구조적 유사성을 활용하여 RL의 수렴 속도나 샘플 효율성을 향상시킬 수 있는가?
• RQ5 볼록 최적화에서 도출된 이론적 통찰은 현대 RL 알고리즘을 더 잘 이해하고 분석하기 위해 어떻게 활용될 수 있는가?

주요 결과

• 보수 정책 반복은 상태-행동 가치 함수를 기울기 추정치로 사용할 경우 프랭크-울프 방법과 알고리즘적으로 동치이다.
• 거울 강하 수정 정책 반복은 정책 갱신이 Bregman 발산 정규화에 의해 제어됨으로써 정확히 거울 강하 알고리즘과 일치한다.
• Politex는 공식적으로 이중 평균화 체계와 동치이며, Q-값의 누적 합이 이중 평균화 항으로 작용한다.
• 이러한 연결 고리는 부분적 정책 평가가 허용되는 수정 정책 반복 변형에서도 유지되어 유사성의 강건성을 보여준다.
• 결과적으로 정규화 및 수렴 분석과 같은 최적화 기법을 직접적으로 활용하여 RL 알고리즘의 개선과 분석이 가능하다는 점을 시사한다.
• 이 프레임워크는 잘 정립된 볼록 최적화 이론을 활용하여 RL 알고리즘의 이해와 설계를 위한 통합된 시각을 제공한다.