[논문 리뷰] Flexible Decomposition Algorithms for Weakly Coupled Markov Decision Problems

Ronald Parr|arXiv (Cornell University)|2013. 01. 30.

Reinforcement Learning in Robotics참고 문헌 17인용 수 70

한 줄 요약

이 논문은 대규모이고 약하게 결합된 마르코프 결정 과정(MDPs)을 해결하기 위한 두 가지 유연한 분해 알고리즘을 소개한다: 독립적인 문제 부분에 대한 정책을 캐시하고 효율적으로 조합하는 부분적 분해 방법과, 상호 간 소통을 통해 주의를 우선순위에 따라 배정하는 완전한 분해 방법이다. 두 방법 모두 증명 가능한 유계 근사 또는 최적 정책을 계산하며, 구조적으로 유사한 문제들 간의 지식 전이를 지원한다.

ABSTRACT

This paper presents two new approaches to decomposing and solving large Markov decision problems (MDPs), a partial decoupling method and a complete decoupling method. In these approaches, a large, stochastic decision problem is divided into smaller pieces. The first approach builds a cache of policies for each part of the problem independently, and then combines the pieces in a separate, light-weight step. A second approach also divides the problem into smaller pieces, but information is communicated between the different problem pieces, allowing intelligent decisions to be made about which piece requires the most attention. Both approaches can be used to find optimal policies or approximately optimal policies with provable bounds. These algorithms also provide a framework for the efficient transfer of knowledge across problems that share similar structure.

연구 동기 및 목표

• 대규모 마르코프 결정 과정(MDPs)을 해결하는 데 있어 계산의 비현실성 문제를 해결하기 위해, 이를 더 작고 다룰 수 있는 구성 요소들로 분해하는 것.
• 해결 품질에 대한 이론적 보장을 유지하면서도 효율적인 정책 계산을 가능하게 하는 민첩한 분해 기법을 개발하는 것.
• 공유된 정책 표현을 통해 구조적으로 유사한 구성 요소를 가진 문제들 간의 지식 전이를 가능하게 하는 것.
• 계산 효율성과 정책 정확성의 균형을 이루는 알고리즘을 설계하여 최적 및 근사 최적 정책을 모두 지원하는 것.
• 분해된 구성 요소들 간에 정보가 유입되어 가장 중요한 구성 요소들에 대해 계산 자원을 집중적으로 할당할 수 있도록 하는 프레임워크를 제공하는 것.

제안 방법

• 부분적 분해 방법은 MDP의 각 구성 요소에 대해 독립적으로 정책을 계산하고 캐시한 후, 경량의 후처리 단계에서 이를 조합한다.
• 완전한 분해 방법은 구성 요소 간 이중 방향 정보 교환을 허용하여, 어떤 부분이 더 세밀하게 다뤄져야 할지를 동적으로 우선순위화할 수 있도록 한다.
• 두 접근 방식 모두 약하게 결합된 구조에 적합하게 조정된 가치 함수 분해 및 정책 반복 원리를 사용한다.
• 알고리즘은 근사 솔루션에 대해 증명 가능한 오차 유계를 포함하여, 전체 최적성 계산이 이루어지지 않더라도 신뢰성 있는 결과를 보장한다.
• 핵심 혁신은 구성 요소 간 소통을 통해 계산 자원을 할당할 위치를 안내함으로써 효율성을 향상시키는 것이다.
• 공유된 정책 표현을 통해 유사한 문제들 간에 캐시된 정책을 재사용함으로써 전이 학습을 지원하는 프레임워크를 제공한다.

실험 결과

연구 질문

• RQ1 대규모이고 약하게 결합된 MDPs는 어떻게 효과적으로 분해되어야 하며, 계산 복잡성을 줄이면서도 해결 품질을 유지할 수 있는가?
• RQ2 분해된 MDPs에서 최적성 보장을 잃지 않으면서도 효율적이고 확장 가능한 정책 계산을 가능하게 하는 메커니즘은 무엇인가?
• RQ3 어떻게 구성 요소들 간에 정보를 공유하여 계산 자원의 집중을 이끌고 수렴을 향상시킬 수 있는가?
• RQ4 유사한 구조를 가진 다른 문제에 대해 한 문제에서 캐시된 정책을 어떻게 재사용하여 학습을 가속화할 수 있는가?
• RQ5 분해 기반 방법으로 생성된 근사 정책의 품질에 대해 어떤 이론적 유계를 설정할 수 있는가?

주요 결과

• 부분적 분해 방법은 개별 구성 요소에 대한 정책을 사전에 계산하고 캐시함으로써 계산 복잡도를 크게 절감하며, 재해결 없이도 빠른 조합이 가능하다.
• 완전한 분해 방법은 구성 요소 간 소통을 허용함으로써 해결 품질을 향상시키며, 가장 중요한 부분 문제들에 주의를 집중시킨다.
• 두 알고리즘 모두 얻어진 정책의 부분 최적성에 대해 증명 가능한 유계를 제공하여 이론적으로 신뢰할 수 있음을 보장한다.
• 공통적인 구조적 특징을 가진 문제들 간에 효과적인 지식 전이를 지원하여 유사한 도메인 내에서 반복적인 계산을 줄인다.
• 약한 결합성을 활용함으로써 기존에는 해결이 불가능했던 대규모 MDPs에 대해서도 효율적으로 확장 가능하다.
• 원래의 UAI-98 컨ference 논문에서의 실험 결과는 단일 MDP 솔버 대비 뛰어난 성능과 확장성을 입증한다.