[논문 리뷰] Value function approximation via low-rank models

Hao Yi Ong|arXiv (Cornell University)|2015. 08. 31.

Sparse and Compressive Sensing Techniques참고 문헌 24인용 수 14

한 줄 요약

이 논문은 마코프 결정 과정(MDPs)에서 가치 함수 근사에 대해 저질서수와 희소 행렬 분해 방법을 제안한다. 로버스트 주성분 분석(RPCA)을 통해 주성분 추적(PCP)을 사용하여 진정한 가치 함수를 복원한다. 시험된 MDPs에서 원래 행렬 크기의 2% 미만으로 근사치를 도출함으로써 거의 완벽한 근사 성능를 달성하였으며, 최적의 정책 성능을 유지한다.

ABSTRACT

We propose a novel value function approximation technique for Markov decision processes. We consider the problem of compactly representing the state-action value function using a low-rank and sparse matrix model. The problem is to decompose a matrix that encodes the true value function into low-rank and sparse components, and we achieve this using Robust Principal Component Analysis (PCA). Under minimal assumptions, this Robust PCA problem can be solved exactly via the Principal Component Pursuit convex optimization problem. We experiment the procedure on several examples and demonstrate that our method yields approximations essentially identical to the true function.

연구 동기 및 목표

• 큰 규모의 MDPs에서 차원의 극복 문제를 해결하기 위해 상태-행동 가치 함수의 낮은 내재 차원성을 활용한다.
• 최적의 정책 성능를 유지하는 상태-행동 가치 함수의 압축 표현을 개발한다.
• 효율적인 근사치를 위해 가치 함수 행렬을 저질서수 및 희소 성분으로 분해하기 위해 로버스트 PCA를 적용한다.
• 연속적인 MDPs에서 저질서수 + 희소 모델이 최적의 정책과 구분 불가능한 성능를 달성하는지 검증한다.

제안 방법

• 모든 상태-행동 쌍에 대한 값을 인코딩하는 행렬 M ∈ ℝ^{m×n}로 상태-행동 가치 함수를 수식화한다.
• M을 저질서수 성분 L₀와 희소 성분 S₀의 초합으로 모델링한다: M = L₀ + S₀.
• 주성분 추적(PCP)을 통해 볼록 최적화를 통해 분해 문제를 해결한다: L + S = M 를 만족하면서 ‖L‖⁎ + λ‖S‖₁ 를 최소화한다.
• 저질서수 성분의 구조를 위한 볼록 대체물로 핵심 노름(‖·‖⁎)을 활용하고, S에서 희소성을 유도하기 위해 ℓ¹-노름(‖·‖₁)을 사용한다.
• 주성분 추적(PCP) 문제를 변동 다중 승수 방법(ADMM) 알고리즘을 사용하여 해결하며, MATLAB과 C에서 MEX 인터페이스를 통해 구현한다.
• 저질서수 근사(SVD를 통한 L의 분해)와 희소 보정(S)을 조합하여 정책을 재구성함으로써 실시간 조회를 효율적으로 가능하게 한다.

실험 결과

연구 질문

• RQ1 저질서수 및 희소 행렬 분해가 연속적인 MDPs에서 상태-행동 가치 함수를 효과적으로 근사할 수 있는가?
• RQ2 저질서수 + 희소 모델은 전체 가치 함수에 비해 최적의 정책 성능를 어느 정도 유지하는가?
• RQ3 가치 함수 근사에서 성능 손실가 없이 얼마나 많은 메모리 압축을 달성할 수 있는가?
• RQ4 로버스트 PCA는 구조적 노이즈나 이방성 요소가 있는 MDPs에서 가치 함수 근사에 대해 실현 가능하고 정확한 방법인가?

주요 결과

• 마운틴 카 작업에서 저질서수 + 희소 모델은 최적 정책과 정확히 동일한 54.461초의 목표도달 시간을 기록하였다.
• 역립다리 작업에서 정상 위치에서의 평균 이탈 거리는 0.442로, 최적의 0.441에 비해 약간 떨어져 있었지만 큰 차이가 없었다.
• 마운틴 카에서는 원래 크기의 4.887×10⁴개의 비영성분(4.887%)만 필요로 하였고, 역립다리에서는 3.136×10⁵개(12.5%)로, 각각 원래 크기의 2% 미만 및 13% 미만으로 압축되었다.
• 정책 히트맵의 시각적 점검 결과, 원본과 저질서수 + 희소 모델 간의 차이가 거의 없었으며, 특히 역립다리 사례에서 뚜렷하게 나타났다.
• PCP 기반 분해는 희소 성분이 큰 크기의 성분을 포함하고 있고 지지 집합이 알려져 있지 않은 상황에서도 진짜 가치 함수의 구조를 매우 낮은 오차로 성공적으로 복원하였다.
• 이 방법은 연속적인 MDPs로 일반화되며, 낮은 내재 차원성을 가진 가치 함수가 저질서수 및 희소 모델을 통해 압축적으로 표현될 수 있음을 보여주었다.