[논문 리뷰] Using PCA to Efficiently Represent State Spaces

William J. Curran, Tim Brys외 2명|arXiv (Cornell University)|2015. 05. 02.

Reinforcement Learning in Robotics참고 문헌 10인용 수 14

한 줄 요약

이 논문은 강화학습에서 고차원 상태공간을 주성분분석(PCA)을 사용해 저차원 다양체로 투영함으로써 빠른 정책 수렴을 가능하게 한다. 전체 9차원이 아닌 최소 4차원에서 학습함으로써 에이전트는 더 빠르게 더 나은 성능을 달성하며, 마리오 벤치마킹 도메인에서 수렴 속도와 정책 품질 사이의 유리한 트레이드오프를 입증한다.

ABSTRACT

Reinforcement learning algorithms need to deal with the exponential growth of states and actions when exploring optimal control in high-dimensional spaces. This is known as the curse of dimensionality. By projecting the agent's state onto a low-dimensional manifold, we can represent the state space in a smaller and more efficient representation. By using this representation during learning, the agent can converge to a good policy much faster. We test this approach in the Mario Benchmarking Domain. When using dimensionality reduction in Mario, learning converges much faster to a good policy. But, there is a critical convergence-performance trade-off. By projecting onto a low-dimensional manifold, we are ignoring important data. In this paper, we explore this trade-off of convergence and performance. We find that learning in as few as 4 dimensions (instead of 9), we can improve performance past learning in the full dimensional space at a faster convergence rate.

연구 동기 및 목표

• 고차원 강화학습에서의 차원의 극복 문제를 상태공간 복잡도를 줄임으로써 해결한다.
• 차원 감소를 사용할 때 학습 속도와 최종 정책 성능 사이의 트레이드오프를 탐색한다.
• PCA를 통해 유도된 저차원 다각체가 전체 차원 학습보다 더 빠른 수렴과 향상된 성능을 제공할 수 있음을 입증한다.
• 저차원 공간에서의 비최적 정책이 고차원 공간에서 반복 학습을 통해 향상될 수 있는지 조사한다.

제안 방법

• 전문가의 시연로부터 상태 경로를 수집하여 상태공간의 대표적인 데이터셋을 구성한다.
• 주성분분석(PCA)을 적용하여 고차원 상태공간을 분산을 최대한 유지하면서 저차원 다각체로 투영하는 선형 변환을 계산한다.
• 각 학습 반복에서 상위-k 주성분(k ≤ 9)을 사용하여 상태를 투영함으로써 상태 표현을 k차원으로 축소한다.
• 수축된 차원 공간에서만 강화학습을 수행하여 수렴 속도를 가속화한다.
• PCA 변환을 고정된 사전 계산된 행렬로 사용하여 행렬 곱셈을 통한 효율적인 실시간 상태 투영을 가능하게 한다.
• 반복 학습 전략을 제안한다: 먼저 저차원 공간(예: 4차원)에서 학습하고, 이후 더 높은 차원 공간(예: 5차원)으로 지식을 이전하여 최종 정책 품질을 향상시킨다.

실험 결과

연구 질문

• RQ1 상태공간에서 PCA 기반의 차원 감소가 강화학습의 수렴 속도 향상에 기여할 수 있는가?
• RQ2 저차원 다각체를 사용할 때 학습 속도와 최종 정책 성능 사이의 트레이드오프는 어떠한가?
• RQ3 4차원 다각체에서 학습하는 것이 전체 9차원 상태공간에서 학습하는 것보다 정책 품질과 수렴 속도 측면에서 뛰어나게 되는가?
• RQ4 저차원 공간에서 시작하여 고차원 공간으로 지식을 이전하는 반복 학습 전략이, 처음부터 전체 차원에서 학습하는 것보다 최종 정책 성능을 향상시킬 수 있는가?

주요 결과

• 4차원 다각체에서의 학습은 전체 9차원 상태공간에서의 학습보다 더 빠른 수렴과 향상된 정책 성능를 달성했다.
• 첫 번째 몇 개의 주성분은 점프, 지면, 현재 방향, 사격, 장애물 접근성과 같은 기본 게임 메커니즘을 강하게 강조했다.
• 근처 적과 관련된 특징들은 낮은 분산, 높은 인덱스의 주성분에 대부분 포함되어 있어 상황적 중요성을 반영했다.
• 5개 이상의 차원을 가진 다각체는 전체 상태공간과 유사한 성능를 보였으며, 이는 일정 차원 이상에서는 수익 감소가 발생함을 시사했다.
• 2 또는 3차원에서의 학습은 표현 능력이 부족하여 열악한 정책를 초래했으며, 효과적인 학습을 위한 충분한 표현 능력이 없음을 시사했다.
• PCA 투영은 경량 행렬 연산이므로 계산 오버헤드가 최소화되어 빠른 수렴이 가능하다.