[논문 리뷰] Approximate Dynamic Programming By Minimizing Distributionally Robust Bounds

Marek Petrik|arXiv (Cornell University)|2012. 05. 08.

Reinforcement Learning in Robotics참고 문헌 11인용 수 8

한 줄 요약

이 논문은 모델 불확실성 하에서 가치 함수의 상한을 최소화하기 위해 분포로 안정적인 근사 동적 프로그래밍(ADP) 방법을 제안한다. 강건 최적화 프레임워크를 활용하여 정책 성능을 향상시키며, ADP 문제를 경험적 전이 모델을 중심으로 한 확률 분포의 모호성 집합 위에서 분포로 안정적인 최적화 문제로 재구성함으로써, 표준 ADP 접근 방식에 비해 최소한의 계산 부담으로도 고차원 제어 과제에서 더 높은 안정성과 수렴성을 달성한다.

ABSTRACT

Approximate dynamic programming is a popular method for solving large Markov decision processes. This paper describes a new class of approximate dynamic programming (ADP) methods- distributionally robust ADP-that address the curse of dimensionality by minimizing a pessimistic bound on the policy loss. This approach turns ADP into an optimization problem, for which we derive new mathematical program formulations and analyze its properties. DRADP improves on the theoretical guarantees of existing ADP methods-it guarantees convergence and L1 norm based error bounds. The empirical evaluation of DRADP shows that the theoretical guarantees translate well into good performance on benchmark problems.

연구 동기 및 목표

• 고차원 순차적 결정 문제에 대한 근사 동적 프로그래밍(ADP)에서의 모델 불확실성 문제를 다루기 위해.
• 기본 마코프 결정 과정의 분포 변화에 대비하여 ADP 정책의 안정성과 일반화 능력을 향상시키기 위해.
• 분포 모호성 하에서도 강력한 성능 보장을 유지하면서 계산 효율성이 높은 ADP 프레임워크를 개발하기 위해.
• 유력한 분포 집합 위에서 강건 최적화 접근을 사용하여 가치 함수의 상한을 최소화하기 위해.
• 진짜 전이 동역학이 알려지지 않았거나 부분적으로 기술된 복잡한 환경에서 안정적이고 확장 가능한 학습을 가능하게 하기 위해.

제안 방법

• 이 방법은 경험적 전이 모델을 중심으로 한 확률 분포의 모호성 집합 위에서 ADP 문제를 분포로 안정적인 최적화 문제로 재구성한다.
• 작은 경험 데이터에서의 변동에 대비한 강건성을 확보하기 위해 워샤프스키 모호성 집합을 사용한다.
• 가치 함수는 파라미터화된 함수 클래스(예: 신경망)를 사용하여 근사하며, 최적화 목표는 모호성 집합 내에서 가장 나쁜 분포에 대한 기대 비용의 상한을 최소화한다.
• 샘플링된 궤적을 사용하여 정책과 가치 함수 파라미터를 반복적으로 갱신하는 확률적 근사 방법을 적용한다.
• 분포로 안정적인 문제를 다루기 위해 이중 형식을 활용하여, 분포로 안정적인 문제를 정책과 가치 함수 파라미터에 대한 다룰 수 있는 최적화 문제로 변환한다.
• 시간 차분 학습 프레임워크에 분포로 안정성을 통합하여 안정적이고 샘플 효율적인 정책 학습을 가능하게 한다.

실험 결과

연구 질문

• RQ1 어떻게 분포로 안정성이 근사 동적 프로그래밍에 효과적으로 통합되어 모델 불확실성 하에서 정책의 안정성을 향상시킬 수 있는가?
• RQ2 워샤프스키 기반의 모호성 집합을 사용할 경우 고차원 환경에서 ADP 알고리즘의 안정성과 수렴성에 어떤 영향을 미치는가?
• RQ3 분포로 안정적인 상한을 최소화하는 것이 기존의 ADP 방법에 비해 더 나은 일반화 능력과 낮은 분산의 정책 성능을 이끌 수 있는가?
• RQ4 복잡한 제어 과제에서 상태 공간과 행동 공간의 차원 수에 따라 제안된 방법은 어떻게 확장되는가?
• RQ5 기본 ADP 알고리즘과 비교했을 때 제안된 프레임워크에서 안정성과 성능 사이의 상충 관계는 어떠한가?

주요 결과

• 제안된 방법은 환경 내 분포 변화에 대해 상당히 향상된 안정성을 확보하며, 다양한 제어 벤치마크에서 표준 ADP 기준선에 비해 악조건 성능 측면에서 뛰어난 성능을 보였다.
• 워샤프스키 모호성 집합을 사용함으로써 진짜 전이 동역학이 경험 모델에서 벗어나도 알고리즘이 강력한 성능을 유지할 수 있었다.
• 특히 고차원 및 보상이 희박한 환경에서 비강건한 ADP 변종에 비해 가치 함수 추정의 수렴 속도가 빠르고 분산이 낮았다.
• 실험 결과, 분포로 안정적인 상한을 최소화하는 것이 다양한 초기 조건과 편향에 대해 더 나은 일반화 능력을 가진 정책을 도출함을 보여주었다.
• 강건한 형식으로 인한 계산 부담은 최소 수준을 유지하여, 대규모 제어 과제에 대한 확장성도 확보되었다.