[논문 리뷰] Direct and indirect reinforcement learning

Yang Guan, Shengbo Eben Li외 5명|arXiv (Cornell University)|2019. 12. 23.

Reinforcement Learning in Robotics참고 문헌 50인용 수 8

한 줄 요약

이 논문은 강화학습(RL)을 정책 최적화 방식에 따라 직접적이고 간접적인 방법으로 분류하는 새로운 분류 체계를 제안한다. 직접적 RL은 경량 경사하강법을 통해 기대 누적 보상을 직접 최대화하는 반면, 간접적 RL은 최적성의 필수 및 충분조건으로서 벨먼 방정식을 푸는 방식이다. 저자들은 근사 가치 함수와 정적 상태 분포를 사용하여 두 접근 방식을 공통의 정책 기울기 프레임워크 아래 통합하였으며, 이들이 수학적으로 동치임을 입증하고, 가치 함수 정확도와 상태 분포 선택이 학습 성능에 미치는 영향을 실험적으로 검증하였다.

ABSTRACT

Reinforcement learning (RL) algorithms have been successfully applied to a range of challenging sequential decision making and control tasks. In this paper, we classify RL into direct and indirect RL according to how they seek the optimal policy of the Markov decision process problem. The former solves the optimal policy by directly maximizing an objective function using gradient descent methods, in which the objective function is usually the expectation of accumulative future rewards. The latter indirectly finds the optimal policy by solving the Bellman equation, which is the sufficient and necessary condition from Bellman's principle of optimality. We study policy gradient forms of direct and indirect RL and show that both of them can derive the actor-critic architecture and can be unified into a policy gradient with the approximate value function and the stationary state distribution, revealing the equivalence of direct and indirect RL. We employ a Gridworld task to verify the influence of different forms of policy gradient, suggesting their differences and relationships experimentally. Finally, we classify current mainstream RL algorithms using the direct and indirect taxonomy, together with other ones including value-based and policy-based, model-based and model-free.

연구 동기 및 목표

• 기대 누적 보상 최적화 방식에 따라 직접적 및 간접적 방법을 구분함으로써 강화학습에 대한 새로운 분류 체계를 수립하기.
• 근사 가치 함수와 정적 상태 분포를 사용하여 직접적 및 간접적 RL을 하나의 정책 기울기 공식으로 통합하기.
• 다양한 구성 요소(예: 상태 분포 및 가치 함수 근사)가 정책 기울기 학습 성능에 미치는 영향을 실험적으로 조사하기.
• 직접/간접 분류 체계를 사용하여 주류 RL 알고리즘을 분류하고, 기존의 가치 기반/정책 기반 및 모델 기반/모델 자유 분류 체계와 비교하기.
• 최적 제어 이론에서 영감을 얻어 직접적 및 간접적 방법의 강점을 융합함으로써 RL 알고리즘 향상에 대한 통찰 제공하기.

제안 방법

• 기대 누적 보상에 대한 경량 경사하강법을 통한 정책 최적화로 직접적 RL을 정의하고, 벨먼 원리의 최적성에 기반한 벨먼 방정식을 푸는 방식으로 간접적 RL을 정의한다.
• 직접적 및 간접적 정책 기울기 공식에서 액터-크리틱 아키텍처를 유도하여 두 방식의 구조적 동치성을 보여준다.
• 근사 가치 함수와 정적 상태 분포를 포함하는 통합된 정책 기울기 공식을 제안하여 직접적 및 간접적 RL 간의 수학적 동치성을 드러낸다.
• 통제된 조건에서 다양한 정책 기울기 변종을 시뮬레이션하고 비교하기 위해 그리드월드 환경을 설계한다.
• 초기 상태 분포와 정적 상태 분포의 영향, 가치 함수 근사 정확도가 수렴 속도와 최종 성능에 미치는 영향을 평가한다.
• 초기 설정값의 변동 분석(예: 정책 업데이트당 가치 함수 업데이트 수)을 통해 정책 및 가치 함수 업데이트 빈도 간의 상호 교환 관계를 분석한다.

실험 결과

연구 질문

• RQ1 직접적 및 간접적 강화학습 방법은 그들의 기초 최적화 메커니즘에서 어떻게 다를까?
• RQ2 직접적 및 간접적 RL이 근사 가치 함수와 정적 상태 분포를 포함하는 단일 정책 기울기 공식 아래 통합될 수 있는가? 만약 가능하다면 어떤 조건에서 가능한가?
• RQ3 정책 기울기 추정에서 초기 상태 분포를 사용하는 것과 정적 상태 분포를 사용하는 것의 영향은 무엇인가?
• RQ4 근사 가치 함수의 정확도가 정책 기울기 방법의 수렴 속도와 성능에 미치는 영향은 어떠한가?
• RQ5 실제로 정책 기울기 구성 요소(예: 가치 함수 및 상태 분포)의 차이가 학습 결과에 얼마나 큰 영향을 미치는가?

주요 결과

• 근사 가치 함수와 정적 상태 분포를 포함하는 통합된 정책 기울기 프레임워크에서 표현할 경우, 직접적 및 간접적 RL 방법은 수학적으로 동치이다.
• 정적 상태 분포가 초기 상태 분포보다 더 나은 정책 최적화를 이끌어내며, 이는 에이전트가 실제로 방문하는 상태를 반영하기 때문에 정책 기울기 추정의 편향을 줄이기 때문이다.
• 가치 함수 근사 오차는 수렴 속도를 크게 저하시키며, 근사 가치 함수가 수렴하지 못할 경우 정책 기울기 추정치가 부정확해져 성능이 열 劣화된다.
• 정책 업데이트 대비 가치 함수 업데이트 빈도를 높일수록 학습 속도와 안정성이 향상되며, 특히 가치 함수가 아직 정확하지 않은 경우 두드러진다.
• 가치 함수가 잘 근사되지 않은 경우 간접적 정책 기울기 방법은 기준 PG보다 수렴 속도가 느리며, 이는 가치 함수 업데이트 빈도가 낮아 기인한 편향된 기울기 추정 때문이 다.
• 정책 엔트로피는 시간이 지남에 따라 감소하여 정책의 결정론적 성향을 보이며, 이 과정은 근사 가치 함수나 비정적 상태 분포를 사용할 경우 지연된다. 이는 수렴 지연을 시사한다.