[논문 리뷰] Learning Good State and Action Representations via Tensor Decomposition

Chengzhuo Ni, Yaqi Duan외 3명|arXiv (Cornell University)|2021. 05. 03.

Tensor decomposition and applications참고 문헌 50인용 수 4

한 줄 요약

이 논문은 연속 상태-행동 마르코프 결정 과정(MDPs)에서 경험적 궤적에서 저차원 상태 및 행동 표현을 학습하기 위한 텐서 분해 기반 비지도 학습 방법을 제안한다. 커널화, 중요도 샘플링, 저-툴러 랭크 근사화를 활용함으로써, 이 방법은 산란 거리와 잠재 블록 구조를 정확히 근사하면서도 의미 있는 추상화를 식별하며, 엄밀한 통계적 오차 경계를 제공함으로써 후행 RL 작업에서 효과적인 함수 근사화를 가능하게 한다.

ABSTRACT

The transition kernel of a continuous-state-action Markov decision process (MDP) admits a natural tensor structure. This paper proposes a tensor-inspired unsupervised learning method to identify meaningful low-dimensional state and action representations from empirical trajectories. The method exploits the MDP's tensor structure by kernelization, importance sampling and low-Tucker-rank approximation. This method can be further used to cluster states and actions respectively and find the best discrete MDP abstraction. We provide sharp statistical error bounds for tensor concentration and the preservation of diffusion distance after embedding. We further prove that the learned state/action abstractions provide accurate approximations to latent block structures if they exist, enabling function approximation in downstream tasks such as policy evaluation.

연구 동기 및 목표

• 비지도 상태 및 행동 표현 학습의 과제를 해결하기 위해 연속 상태 및 행동에 대한 의미 있는 저차원 표현을 학습하는 것.
• MDP 전이 커널의 임베딩된 텐서 구조를 활용하여 표현 학습을 향상시키는 것.
• 군집화 및 이산 MDP 구성 방법을 통해 상태 및 행동의 정확한 추상화를 가능하게 하는 것.
• 임bedded 공간에서 텐서 농도 및 산란 거리 유지에 대한 통계적 오차 경계를 제공하는 것.
• 학습된 표현이 잠재 블록 구조를 정확히 근사하여 후행 함수 근사화를 지원하는 것.

제안 방법

• 이 방법은 상태 및 행동를 재생핵 힐버트 공간으로 매핑하기 위해 커널화를 적용하여 전이 커널의 텐서 기반 모델링을 가능하게 한다.
• 중요도 샘플링을 사용하여 경험 궤적에서 전이 커널을 효율적으로 추정함으로써 추정의 분산을 감소시킨다.
• 커널화된 전이 텐서에 대해 저-툴러 랭크 근사화를 적용하여 저차원 상태 및 행동 표현을 추출한다.
• 학습된 표현을 기반으로 상태 및 행동을 군집화하여 이산 MDP 추상화를 구성한다.
• 임베딩된 공간에서 텐서 농도 및 산란 거리 유지에 대한 통계적 보장을 도출한다.
• 잠재 블록 구조가 존재할 경우 이에 대한 복원을 지원하도록 설계되어 있다.

실험 결과

연구 질문

• RQ1 텐서 분해 기법을 연속 상태 및 행동의 저차원 표현 학습에 효과적으로 적용할 수 있는가?
• RQ2 학습된 표현이 MDP의 기하학적 구조, 특히 산란 거리의 유지 정도는 어떠한가?
• RQ3 전이 커널에 잠재 블록 구조가 존재할 경우 이 방법이 얼마나 정확하게 이를 복원할 수 있는가? 이는 정확한 함수 근사화를 가능하게 하는가?
• RQ4 제안된 프레임워크에서 텐서 농도 및 표현 충실도에 대한 통계적 오차 경계는 무엇인가?
• RQ5 학습된 표현의 군집화를 통해 고품질의 이산 MDP 추상화를 생성할 수 있는가?

주요 결과

• 이 방법은 텐서 농도에 대해 날카운 통계적 오차 경계를 확보하여 커널화된 전이 텐서의 신뢰할 수 있는 추정을 보장한다.
• 학습된 표현은 산란 거리를 높은 정확도로 유지하여 MDP의 본질적 기하학을 유지한다.
• 전이 커널에 잠재 블록 구조가 존재할 경우 이 방법은 높은 정밀도로 이를 복원하며 효과적인 함수 근사화를 가능하게 한다.
• 저-툴러 랭크 근사화를 통해 클러스터링에 적합한 압축되고 의미 있는 표현을 제공한다.
• 이론적 보장은 제한된 궤적 데이터로도 일관되고 정확한 추상화를 제공함을 보여준다.
• 실험 결과는 학습된 표현이 후행 정책 평가 작업에서 향상된 성능을 이끌어내는 것으로 나타났다.