[논문 리뷰] A Block Coordinate Ascent Algorithm for Mean-Variance Optimization

Bo Liu, Tengyang Xie외 5명|arXiv (Cornell University)|2018. 09. 07.

Stochastic Gradient Optimization Techniques인용 수 25

한 줄 요약

이 논문은 강화학습에서 평균-분산 최적화를 위한 새로운 블록 좌표 상승 알고리즘을 제안하며, 레지온드르-펜클레 이중성(legendre-fenchel duality)을 활용하여 효율적인 확률적 정책 탐색을 가능하게 한다. 유한 샘플 오차 한계와 수렴 속도를 확립하여 이전의 점차적 수렴 증명만을 가진 점근적 방법보다 더 강력한 이론적 보장을 제공한다. 학습률 조정이 가능한 것이 특징이다.

ABSTRACT

Risk management in dynamic decision problems is a primary concern in many fields, including financial investment, autonomous driving, and healthcare. The mean-variance function is one of the most widely used objective functions in risk management due to its simplicity and interpretability. Existing algorithms for mean-variance optimization are based on multi-time-scale stochastic approximation, whose learning rate schedules are often hard to tune, and have only asymptotic convergence proof. In this paper, we develop a model-free policy search framework for mean-variance optimization with finite-sample error bound analysis (to local optima). Our starting point is a reformulation of the original mean-variance function with its Fenchel dual, from which we propose a stochastic block coordinate ascent policy search algorithm. Both the asymptotic convergence guarantee of the last iteration's solution and the convergence rate of the randomly picked solution are provided, and their applicability is demonstrated on several benchmark domains.

연구 동기 및 목표

• 기존의 평균-분산 강화학습 알고리즘의 한계를 해결하기 위해, 조정이 어려운 다중 시간 스케일 확률적 근사 방법에 의존하며, 점근적 수렴 증명만 제공하는 문제를 해결한다.
• 엄밀한 유한 샘플 복잡도 분석을 제공하는 계산적으로 효율적인 모델리스 정책 탐색 프레임워크를 개발한다.
• 제안된 알고리즘에 대해 점근적 수렴과 유한 샘플 오차 한계를 동시에 제공하여 실제 의사결정 과정에서의 실용성을 보장한다.
• 레지온드르-펜클레 이중성을 활용해 평균-분산 목표함수를 재구성하여 더 안정적이고 효율적인 최적화 과정을 가능하게 한다.
• 포트폴리오 관리, 미국형 옵션, 최적 정지와 같은 벤치마크 도메인에서 알고리즘의 효과성을 입증한다.

제안 방법

• 레지온드르-펜클레 이중성을 활용해 평균-분산 목표함수를 재구성하여, 블록 좌표 강하에 적합한 새로운 최적화 공식을 도출한다.
• 샘플된 경로를 사용해 정책 파라미터와 이중 변수를 번갈아가며 업데이트하는 확률적 순환 블록 좌표 강하(SBCD) 알고리즘을 제안한다.
• 알고리즘의 무작위 변형(RCPG)과 완전 업데이트 변형(SGA)을 도입하며, 둘 다 로빈스-몬로 조건을 만족하는 스텝 사이즈 규칙 또는 상수로 설정한다.
• empirical return $ R_t $ 와 정책 기울기 $ \omega_t(\theta_t) $ 를 사용해 $ \theta $ 와 $ y $ 를 업데이트하며, $ y $ 는 분산 제어를 위한 이중 변수로 기능한다.
• 기대 기울기 노름을 통한 수렴 분석을 수행하며, 적절한 스텝 사이즈 설정 하에 $ \mathcal{O}(1/\sqrt{N}) $ 의 수렴 속도를 도출한다.
• 마지막 반복과 무작위 선택된 반복에 대해 유한 샘플 오차 한계를 적용하여 비점근적 보장을 제공한다.

실험 결과

연구 질문

• RQ1 모델리스 정책 탐색 알고리즘이 평균-분산 최적화에서 점근적 성질을 초월해 유한 샘플 수렴 보장을 달성할 수 있는가?
• RQ2 레지온드르-펜클레 이중성이 평균-분산 목표함수에 대해 더 안정적이고 효율적인 최적화 프레임워크를 가능하게 하는가?
• RQ3 확률적 블록 좌표 상승 방법이 기존의 다중 시간 스케일 확률적 근사 알고리즘보다 수렴 속도와 계산 효율성 측면에서 뛰어나게 성능을 발휘할 수 있는가?
• RQ4 제안된 알고리즘의 유한 샘플 오차 한계는 무엇이며, 무작위 업데이트와 순환 업데이트 전략 간의 비교는 어떻게 되는가?
• RQ5 로빈스-몬로 스텝 사이즈와 상수 스텝 사이즈 간의 다양한 스텝 사이즈 스케줄링 전략이 수렴 행동과 최종 성능에 어떤 영향을 미치는가?

주요 결과

• 제안된 알고리즘은 $ \mathcal{O}(1/\sqrt{N}) $ 의 유한 샘플 수렴 속도를 달성하며, 기대 기울기 노름은 $ \mathbb{E}[\|\nabla f(x_z)\|_2^2] \leq \frac{f(x_1) - f^* + N(\beta^{\max})^2 C}{N(\beta^{\min} - \frac{L}{2}(\beta^{\max})^2)} $ 로 유 bounds된다.
• 알고리즘의 마지막 반복은 점근적으로 국소 최적점으로 수렴하며, 표준 로빈스-몬로 스텝 사이즈 조건 하에 수렴 보장이 이루어진다.
• 수열에서 무작위로 선택된 반복 $ x_z $ 는 $ \beta^{\min} = \beta^{\max} = \mathcal{O}(1/\sqrt{N}) $ 일 때 동일한 $ \mathcal{O}(1/\sqrt{N}) $ 의 수렴 속도를 달성한다.
• 포트폴리오 관리, 미국형 옵션, 최적 정지와 같은 벤치마크 도메인에서 기존 방법보다 빠른 수렴 속도와 더 뛰어난 안정성을 보여주며, 성능이 뛰어나다.
• 유한 샘플 오차 한계는 업데이트 동역학의 비선형성을 고려하는 새로운 분석 프레임워크를 통해 유도되었으며, 이는 이전 방법들(예: Dalal et al., 2018)의 한계를 초월한다.
• 이론적 분석을 통해 순환 블록 업데이트 전략이 무작위 업데이트보다 더 나은 경험적 성능을 보임을 확인하였으며, 이는 이전 연구에서 유한 샘플 분석이 부족했음에도 불구하고 성립한다.