[논문 리뷰] Variance Adjusted Actor Critic Algorithms

Aviv Tamar, Shie Mannor|arXiv (Cornell University)|2013. 10. 14.

Reinforcement Learning in Robotics참고 문헌 13인용 수 25

한 줄 요약

이 논문은 예측 수익과 분산 페널티를 조합한 위험 민감한 목표를 최적화하는 마르코프 결정 과정을 위한 분산 조정된 액터-크리틱 알고리즘을 제안한다. 호환 가능한 특징을 분산 조정 설정으로 확장하고 크리틱에 선형 함수 근사를 사용함으로써, 단일 트레이젝터리당 한 번의 기울기 추정을 통해 진짜 목표의 국소 최적점으로 거의 확실히 수렴하는 방법을 보장한다.

ABSTRACT

We present an actor-critic framework for MDPs where the objective is the variance-adjusted expected return. Our critic uses linear function approximation, and we extend the concept of compatible features to the variance-adjusted setting. We present an episodic actor-critic algorithm and show that it converges almost surely to a locally optimal point of the objective function.

연구 동기 및 목표

• 위험 민감한 강화 학습을 위한 분산 조정된 목표 $J - \mu V$ 를 최적화하는 액터-크리틱 프레임워크를 개발하기.
• 호환 가능한 특징의 개념을 분산 조정 설정으로 확장하여 효율적인 정책 기울기 추정을 가능하게 하기.
• 동시 섭동에 의존하거나 함수 근사에서 근사 오차로 인해 문제가 발생하는 이전 방법의 한계를 해결하기.
• 선형 함수 근사 하에서 진짜 목표 함수의 국소 최적점으로 수렴함을 보장하기.
• 선형 함수 근사를 분산 페널티가 포함된 액터-크리틱 프레임워크에 통합하여 큰 상태 공간에서의 실용적 적용을 가능하게 하기.

제안 방법

• 크리틱은 예측 수익-내림표 $J^\theta(x)$ 와 그 제곱 모멘트 $M^\theta(x)$ 를 선형 함수 근사를 통해 추정하며, 이로부터 분산 $V^\theta(x)$ 를 유도한다.
• 정책 기울기의 유도는 분산 조정된 목표의 기울기가 $J^\theta$ 와 $M^\theta$ 의 정책 파rameter에 대한 도함수와 관련된 확장된 정책 기울기 정리에 기반한다.
• 분산 조정된 목표에 맞게 조정된 새로운 형태의 호환 가능한 특징을 도입하여, 크리틱의 가치 추정이 정책 기울기 방향과 일致하도록 보장한다.
• 알고리즘은 각 업데이트당 단일 트레이젝터리로 목표의 기울기를 계산하여, 동시 섭동 방법에서 요구하는 다수의 트레이젝터리가 필요로 하는 문제를 피한다.
• $M^\theta$ 의 기울기는 전이 행렬 $P$, 보상 함수 $r$, 그리고 정책 도함수 $\partial \log \pi / \partial \theta_j$ 를 포함하는 재귀적 분해를 통해 계산되며, 이는 행렬 역행렬을 사용한 폐쇄형 표현식을 제공한다.
• 최종 기울기 추정은 $\mathbb{E}\left[\sum_{t=0}^{\infty} \frac{d}{d\theta_j} \log \pi(u_t|x_t) \left( M^\theta(x_t,u_t) + 2J^\theta(x_t,u_t) \sum_{s=0}^{t-1} r(x_s) \right) \right]$ 로 표현되어, 온-폴리시 학습을 효율적으로 가능하게 한다.

실험 결과

연구 질문

• RQ1 선형 함수 근사 하에서 표준 가정 하에 진짜 목표 함수의 국소 최적점으로 수렴하는 분산 조정된 액터-크리틱 알고리즘을 설계할 수 있는가?
• RQ2 호환 가능한 특징의 개념을 분산 조정 설정으로 어떻게 확장할 수 있으며, 이를 통해 가치 함수 근사가 일관성을 확보할 수 있는가?
• RQ3 동시 섭동 방법에서 요구하는 다수의 롤아웃이 필요 없이, 단일 트레이젝터리만으로도 분산 조정된 목표의 정책 기울기를 추정할 수 있는가?
• RQ4 이러한 알고리즘의 이론적 수렴 보장은 무엇이며, 함수 근사 특징의 선택에 따라 어떻게 달라지는가?
• RQ5 정책 파rameter에 대한 제곱 모멘트 $M^\theta$ 의 도함수는 어떻게 효율적으로 계산하고 정책 향상에 활용할 수 있는가?

주요 결과

• 제안된 에피소드 기반 액터-크리틱 알고리즘은 표준 가정 하에 분산 조정된 목표 함수 $J - \mu V$ 의 국소 최적점으로 거의 확실히 수렴한다.
• 이 방법은 함수 근사 오차로 인해 수정된 목표의 국소 최적점으로 수렴하는 문제를 피하면서도 진짜 목표의 국소 최적점으로 수렴함을 보장한다.
• 이 알고리즘은 기울기 추정 당 단일 트레이젝터리만 필요로 하여, 기울기 추정에 두 개의 트레이젝터리가 필요한 방법보다 샘플 효율성이 향상된다.
• 분산 조정된 목표의 정책 기울기 유도는 수익의 제곱 모멘트를 통합한 정책 기울기 정리의 새로운 확장에 기반한다.
• 분산 조정 설정에서 호환 가능한 특징을 사용함으로써 크리틱의 가치 추정이 정책 기울기 방향과 일치하게 되어 학습 안정성이 향상된다.
• 이론적 분석은 기울기 추정이 비편향이며, 정책 기울기와 보상이 유계일 경우 알고리즘이 수렴을 유지함을 확인한다.