[논문 리뷰] A Unifying Framework for Linearly Solvable Control

Krishnamurthy Dvijotham, Emanuel Todorov|arXiv (Cornell University)|2012. 02. 14.

Robotic Path Planning Algorithms참고 문헌 6인용 수 8

한 줄 요약

이 논문은 리아프라 비산도를 사용하여 선형으로 가역 제어를 위한 통합 프레임워크를 제안한다. 이는 리아프라 비산도를 활용해 선형으로 가역 마르코프 결정 과정(LMDPs)을 일반화함으로써, 조정 가능한 위험 회피(a > 0) 또는 위험 추구(a < 0)를 가능하게 한다. 이 방법은 a → 0일 때 표준 LMDPs로 복원되며, 경로 적분 표현과 조합적 제어 법칙을 제공하여 기존 연구를 더 넓은 제어 문제 범주로 확장한다. 이는 증명 가능한 구조적 성질을 가진다.

ABSTRACT

Recent work has led to the development of an elegant theory of Linearly Solvable Markov Decision Processes (LMDPs) and related Path-Integral Control Problems. Traditionally, MDPs have been formulated using stochastic policies and a control cost based on the KL divergence. In this paper, we extend this framework to a more general class of divergences: the Renyi divergences. These are a more general class of divergences parameterized by a continuous parameter that include the KL divergence as a special case. The resulting control problems can be interpreted as solving a risk-sensitive version of the LMDP problem. For a &gt; 0, we get risk-averse behavior (the degree of risk-aversion increases with a) and for a &lt; 0, we get risk-seeking behavior. We recover LMDPs in the limit as a -&gt; 0. This work generalizes the recently developed risk-sensitive path-integral control formalism which can be seen as the continuous-time limit of results obtained in this paper. To the best of our knowledge, this is a general theory of linearly solvable control and includes all previous work as a special case. We also present an alternative interpretation of these results as solving a 2-player (cooperative or competitive) Markov Game. From the linearity follow a number of nice properties including compositionality of control laws and a path-integral representation of the value function. We demonstrate the usefulness of the framework on control problems with noise where different values of lead to qualitatively different control behaviors.

연구 동기 및 목표

• 선형으로 가역 마르코프 결정 과정(LMDPs) 이론을 KL 비산도를 초월해 더 넓은 비산도 클래스로 일반화하는 것.
• 연속적 파rameter a를 통해 위험 회피 또는 추구를 조정할 수 있는 위험 감수성 제어 형식을 개발하는 것.
• 기존의 경로 적분 제어 방법과 LMDP 프레임워크를 하나의 이론적 구조 아래 통합하는 것.
• 가치 함수에 대한 조합적 제어 법칙과 경로 적분 표현을 수립하는 것.
• 다양한 a 값에서 질적으로 다른 행동을 보이는 노이즈가 있는 제어 문제에서 프레임워크의 유용성을 입증하는 것.

제안 방법

• 연속적 파arameter a로 파arameter화된 리아프라 비산도를 사용하여 LMDPs를 일반화함으로써 프레임워크를 확장한다.
• 결과적으로 유도된 제어 문제를 스토케스틱 정책에 대한 변분 최적화 문제로 공식화하며, 비용 함수는 리아프라 비산도에 기반한다.
• 새로운 비산도 하에서 포크너-플랭크 방정식의 선형성에 기반해 가치 함수의 경로 적분 표현을 유도한다.
• 제어 법칙이 조합적임을 보여주며, 이는 하위 문제의 최적 정책을 선형적으로 조합할 수 있음을 의미한다.
• 프레임워크는 2명의 플레이어 마르코프 게임으로 해석되어 협동적 또는 경쟁적 제어 해석이 가능하다.
• 프레임워크의 연속 시간 극한은 기존의 위험 감수성 경로 적분 제어 형식을 복원한다.

실험 결과

연구 질문

• RQ1 LMDP 프레임워크는 KL 비산도를 초월해 다른 비산도를 포함하도록 어떻게 일반화할 수 있는가?
• RQ2 리아프라 비산도 파arameter a는 제어 정책에서 위험 회피 또는 추구 행동을 어떻게 형성하는가?
• RQ3 이 일반화 하에서 경로 적분 표현과 조합적 제어 법칙은 유지되는가?
• RQ4 제안된 프레임워크는 기존의 LMDP 및 위험 감수성 제어 접근 방식을 어떻게 통합하는가?
• RQ5 선형으로 가역 제어에서 리아프라 비산도를 사용할 경우의 구조적 및 계산적 이점은 무엇인가?

주요 결과

• KL 비산도를 리아프라 비산도로 대체함으로써 LMDPs가 일반화되어 연속적인 위험 감수성 행동 스펙트럼을 가능하게 한다.
• a > 0일 경우, 위험 회피 제어 정책이 유도되며, a가 증가할수록 위험 회피 정도가 증가한다.
• a < 0일 경우, 위험 추구 행동이 유도되며, |a|가 클수록 추구 정도가 증가한다.
• a → 0일 때 표준 LMDP 수식이 복원된다.
• 일반화된 비산도 하에서도 가치 함수의 경로 적분 표현이 유지되어 효율적인 계산이 가능하다.
• 제어 법칙은 조합적이며, 복잡한 시스템에 대한 최적 정책의 모듈러 설계를 가능하게 한다.