[논문 리뷰] Optimal control in Markov decision processes via distributed optimization

Jie Fu, Shuo Han외 1명|arXiv (Cornell University)|2015. 03. 24.

Formal Methods in Verification참고 문헌 19인용 수 3

한 줄 요약

이 논문은 시간 로직 제약 조건이 있는 대규모 마르코프 결정 과정(MDP)에서 최적 제어를 위한 분산 최적화 프레임워크를 제안한다. 문제를 분해하여 계산 복잡도를 감소시키며, 문제를 희박한 선형계획문제로 재구성하고 ADMM 기반의 블록 분할 알고리즘을 적용함으로써, 복잡한 시간 로직 명시의 만족 확률을 최대화하는 정책을 확장 가능하고 병렬 처리 가능한 방식으로 합성할 수 있다. 로봇 운동 계획 사례에서 근사 최적의 평균 보상 달성을 확인하였다.

ABSTRACT

Optimal control synthesis in stochastic systems with respect to quantitative temporal logic constraints can be formulated as linear programming problems. However, centralized synthesis algorithms do not scale to many practical systems. To tackle this issue, we propose a decomposition-based distributed synthesis algorithm. By decomposing a large-scale stochastic system modeled as a Markov decision process into a collection of interacting sub-systems, the original control problem is formulated as a linear programming problem with a sparse constraint matrix, which can be solved through distributed optimization methods. Additionally, we propose a decomposition algorithm which automatically exploits, if exists, the modular structure in a given large-scale system. We illustrate the proposed methods through robotic motion planning examples.

연구 동기 및 목표

• 대규모 MDP에서 시간 로직 제약 조건이 있는 중심 집중식 최적 제어 합성의 확장성 한계를 해결하기 위해.
• 큰 MDP를 더 작은 하위 문제로 분해하면서도 전역 최적성을 유지하는 분산 프레임워크를 개발하기 위해.
• 분산 최적화 기법을 활용하여 대규모 MDP 제어 문제를 효율적이고 병렬 처리 가능한 방식으로 해결하기 위해.
• 에르고딕 MDP에서 할인 보상과 평균 보상 목표를 근사 및 분해를 통해 동시에 처리하기 위해.
• 복잡한 시간 로직 명시를 포함한 로봇 운동 계획 작업에서 방법의 효과성을 입증하기 위해.

제안 방법

• 모듈러 구조, 특히 평면 그래프 성질을 활용하여 큰 MDP를 상호작용하는 하위 시스템으로 분해한다.
• 최적 제어 문제를 희박한 제약 행렬을 가진 선형계획문제로 재구성하여 분산 해결을 가능하게 한다.
• ADMM의 변종인 블록 분할 알고리즘을 적용하여 분해된 문제를 분산 및 병렬 방식으로 해결한다.
• 각 반복에서 프록시 매개변수와 투영 단계를 사용하여 변수를 갱신함으로써 타당성과 최적성 보장.
• 하위 시스템 간의 변수를 동기화하고 결합 제약 조건을 강제하기 위해 교환 및 평균화 메커니즘을 구현한다.
• 에르고딕 MDP에서 수렴성과 타당성을 향상시키기 위해 평균 보상을 할인 보상(γ = 0.98)으로 근사한다.

실험 결과

연구 질문

• RQ1 기반 분해 기반의 분산 최적화 방법이 대규모 MDP에서 시간 로직 제약 조건이 있는 최적 제어 합성에 효과적으로 확장 가능한가?
• RQ2 대규모 MDP의 모듈러 구조는 어떻게 자동으로 이용되어 계산 복잡도를 감소시킬 수 있는가?
• RQ3 분산 블록 분할 알고리즘이 중심 집중식 방법과 비교해 타당성과 수렴성을 얼마나 잘 유지하는가?
• RQ4 에르고딕 MDP에서 평균 보상을 할인 보상으로 근사하는 방법이 분산 합성에 효과적으로 적용될 수 있는가?
• RQ5 이 방법은 복잡한 시간 로직 목표를 포함한 로봇 운동 계획 작업에서 실제로 어떻게 성능을 발휘하는가?

주요 결과

• 분산 합성 알고리즘이 14,284회의 반복 후 최적의 할인 보상 0.9998을 달성하였으며, 이는 (1−γ)로 스케일링한 후 평균 보상 0.02에 해당한다.
• 최종 해의 비가역성 측도는 0.016로, 평균 보상 제약 조건이 존재하더라도 양호한 타당성을 보였다.
• 이 방법은 복잡한 시간 로직 명시에 포함된 네 개의 영역을 다루는 14개 상태의 결정적 뷔치 오ート마타(DBA)를 성공적으로 처리하였다.
• 블록 분할 알고리즘은 페널티 기반 조율을 통해 하위 문제를 동시에 해결함으로써, 이중 단계 방법보다 수렴 성능을 향상시켰다.
• 동시 도달성 및 재귀 목표를 포함한 로봇 운동 계획 사례 연구에서 본 방법은 확장성과 효과성을 입증하였다.
• 분해 알고리즘은 기반 MDP의 모듈러성과 느슨한 결합 구조를 효율적으로 활용하여 문제 크기를 감소시키고 병렬 계산을 가능하게 하였다.