[논문 리뷰] Universal Convexification via Risk-Aversion

Krishnamurthy Dvijotham, Maryam Fazel외 1명|arXiv (Cornell University)|2014. 06. 03.

Reinforcement Learning in Robotics참고 문헌 13인용 수 3

한 줄 요약

이 논문은 위험 회피적 가우시안 스무딩을 통해 비볼록 최적화 문제를 볼록 문제로 변환하는 일반적인 볼록화 프레임워크를 제안한다. 이는 수렴 보장과 부분최적화 경계를 가능하게 하며, 제어 문제에 대해 전역 수렴을 보장하는 새로운 모델 기반 및 모델리스 정책 그래디언트 알고리즘을 유도한다. 수치 실험을 통해 검증된다.

ABSTRACT

We develop a framework for convexifying a fairly general class of optimization problems. Under additional assumptions, we analyze the suboptimality of the solution to the convexified problem relative to the original nonconvex problem and prove additive approximation guarantees. We then develop algorithms based on stochastic gradient methods to solve the resulting optimization problems and show bounds on convergence rates. %We show a simple application of this framework to supervised learning, where one can perform integration explicitly and can use standard (non-stochastic) optimization algorithms with better convergence guarantees. We then extend this framework to apply to a general class of discrete-time dynamical systems. In this context, our convexification approach falls under the well-studied paradigm of risk-sensitive Markov Decision Processes. We derive the first known model-based and model-free policy gradient optimization algorithms with guaranteed convergence to the optimal solution. Finally, we present numerical results validating our formulation in different applications.

연구 동기 및 목표

• 위험 회피적 스무딩을 사용하여 비볼록 최적화 문제를 볼록화하는 일반적 프레임워크를 개발하는 것.
• 특정 가정 하에 볼록화된 문제와 원래의 비볼록 문제 사이의 덧셈형 부분최적화 경계를 확립하는 것.
• 볼록화된 문제를 해결하기 위한 수렴 속도 경계를 갖는 확률적 그래디언트 알고리즘을 설계하는 것.
• 이 프레임워크를 이산 시간 동적 시스템으로 확장하여 전역 수렴 정책 최적화를 가능하게 하는 것.
• 위험 민감도 제어 환경에서 전역 최적해로 수렴 보장이 있는 첫 번째 알려진 모델 기반 및 모델리스 정책 그래디언트 알고리즘을 제시하는 것.

제안 방법

• 목적 함수를 $ g(\theta) = f(\theta) + \frac{1}{2}\theta^T R\theta $ 로 분해하며, 여기서 $ f $ 는 가우시안 노이즈로 흐리게 처리된다.
• 위험 회피적 스무딩 연산자를 정의한다: $ f_\alpha(\theta) = \frac{1}{\alpha} \log \mathbb{E}_{\omega \sim \mathcal{N}(0,\Sigma)}[\exp(\alpha f(\theta + \omega))] $, 이는 충분히 큰 $ \alpha $ 에서 문제를 볼록화한다.
• 볼록화된 문제의 형태는 $ \min_{\theta \in \mathcal{C}} f_\alpha(\theta) + \frac{1}{2}\theta^T R\theta $ 이며, $ R \succeq 0 $ 이므로 온화한 조건 하에 볼록성을 보장한다.
• 확률적 그래디언트 방법이 볼록화된 문제를 해결하도록 조정되며, 반복 횟수에 따라 수렴 속도 경계가 부여된다.
• 동적 시스템의 경우, 이 프레임워크는 위험 민감도 마르코프 결정 과정에 통합되어 경로 적분 제어와 연결되며, 정책 그래디언트 최적화를 가능하게 한다.
• KL-발산과 모멘트 경계를 사용하여 이론적 보장을 도출하며, 그래디언트 노름과 부분최적화 경계에 대한 경계를 이끌어낸다.

실험 결과

연구 질문

• RQ1 일반적인 비볼록 최적화 문제의 클래스가 위험 회피적 스무딩을 통해 볼록화될 수 있으며, 의미 있는 부분최적화 보장을 유지할 수 있는가?
• RQ2 위험 매개수 $ \alpha $, 노이즈 공분산 $ \Sigma $, 함수 정규성에 대한 어떤 조건이 스무딩된 문제의 볼록성을 보장하는가?
• RQ3 수렴 속도와 부분최적화 경계가 보장되는 조건 하에 확률적 그래디언트 방법을 볼록화된 문제에 적응시킬 수 있는가?
• RQ4 이 프레임워크를 이산 시간 동적 시스템으로 확장하여 전역 수렴 정책 최적화를 가능하게 할 수 있는가?
• RQ5 이 위험 회피적 볼록화와 기존의 경로 적분 제어 방법 사이의 이론적 연결 고리는 무엇인가?

주요 결과

• 제안된 확률적 그래디언트 알고리즘은 볼록화된 문제에서 전역 수렴 보장을 달성하며, 부분최적화 경계는 노이즈 및 위험 매개수에 따라 결정되는 덧셈 상수로 제한된다.
• 일반 최적화 문제의 경우, 유한한 그래디언트 및 헤시안 가정 하에 부분최적화 경계가 $ \mathcal{O}(\alpha^{-1}) $ 로 제공된다.
• 제어 설정에서는 이 프레임워크가 전역 최적해로 수렴 보장이 있는 첫 번째 알려진 모델 기반 및 모델리스 정책 그래디언트 알고리즘을 도출한다.
• 이론적 분석은 스무딩된 문제에서 그래디언트의 기대 노름이 $ \delta^2 $ 이하로 제한됨을 보여주며, 여기서 $ \delta = \sqrt{\frac{\beta\gamma^2}{\sigma^2(1 - \alpha\beta)}} + \kappa R(\mathcal{C}) $ 이다. 이는 안정성을 보장한다.
• 수치 결과는 다양한 응용 분야에서 이 프레임워크의 타당성을 검증하며, 비볼록 제어 및 학습 과제에서 강건성과 수렴성을 입증한다.
• 이 방법은 반복 횟수에 따라 유리하게 스케일링되는 수렴 속도를 달성하며, 모멘트 및 KL-발산 분석을 통해 최적해와의 거리에 대한 경계가 유도된다.