[논문 리뷰] Learning Sparse Representations in Reinforcement Learning with Sparse Coding

Lei Le, Raksha Kumaraswamy외 1명|arXiv (Cornell University)|2017. 07. 26.

Reinforcement Learning in Robotics참고 문헌 23인용 수 5

한 줄 요약

이 논문은 평균 제곱 수익 오차 목적함수를 사용하여 사전 학습된 사전, 희소 코드, 가치 함수 가중치를 동시에 최적화함으로써 강화학습에서 압축되고 분류 능력이 뛰어난 표현을 학습하는 지도형 희소 코딩 방법인 SCoPE를 제안한다. 비볼록성에도 불구하고 이 방법은 모든 국소 최소값이 전역 최소값임을 보장하며, 실증 결과는 Moutain Car, Puddle World, Acrobot에서 타일 코딩과 비지도형 희소 코딩보다 정책 평가 성능에서 뛰어남을 보여준다.

ABSTRACT

A variety of representation learning approaches have been investigated for reinforcement learning; much less attention, however, has been given to investigating the utility of sparse coding. Outside of reinforcement learning, sparse coding representations have been widely used, with non-convex objectives that result in discriminative representations. In this work, we develop a supervised sparse coding objective for policy evaluation. Despite the non-convexity of this objective, we prove that all local minima are global minima, making the approach amenable to simple optimization strategies. We empirically show that it is key to use a supervised objective, rather than the more straightforward unsupervised sparse coding approach. We compare the learned representations to a canonical fixed sparse representation, called tile-coding, demonstrating that the sparse coding representation outperforms a wide variety of tilecoding representations.

연구 동기 및 목표

• 강화학습 표현 학습을 위한 희소 코딩에 대한 연구 부족을 해결하기 위해.
• 가치 함수 근사에 대한 예측 정확도를 향상시키기 위해 원리적인 지도형 희소 코딩 목적함수를 개발하기 위해.
• 사전과 가중치 학습을 위한 비볼록 최적화 문제에서 전역 최소값만 존재함을 증명하여 단순한 최적화를 가능하게 하기 위해.
• 실증적으로 지도형 희소 코딩이 비지도형 희소 코딩과 고정 타일 코딩 표현보다 정책 평가 과제에서 성능이 뛰어남을 검증하기 위해.
• 표현 공간을 제약하기 위해 지도형 및 비지도형 손실을 조합함으로써 더 뛰어난 분류 능력을 갖춘 표현을 확보하기 위해.

제안 방법

• 평균 제곱 수익 오차(MSRE) 기반의 지도형 목적함수를 사용하여 사전, 희소 코드, 가치 함수 가중치에 대한 동시 최적화를 수립한다.
• 최근의 사전 학습에 대한 전역 수렴 이론 결과를 활용하여 비볼록 목적함수를 최적화하기 위해 교대형 프락시멀 그래디언트 알고리즘을 사용한다.
• 데이터 재구성 목적의 비지도형 희소 코딩과 예측 정확도 목적의 지도형 MSRE를 조합한 하이브리드 손실을 도입하여 표현 품질을 향상시킨다.
• 프로젝션 벨먼 오차를 지도 신호로 사용하여, 이 목적함수에 적합하지 않은 프로젝션 벨먼 오차를 피한다.
• 매끄러운 정규화 함수를 초월한 이론적 보장을 제공하기 위해 $Γ$-수렴을 적용하여, 신중한 초기화 없이도 수렴 가능하게 한다.
• 초기 평가를 위해 배치 그래디언트 디센트를 사용하며, 향후 증분 및 스토하스틱 최적화로의 확장 가능성을 고려한다.

실험 결과

연구 질문

• RQ1 정책 평가를 위한 분류 능력 있는 사전과 가치 함수 가중치를 동시에 학습할 수 있는 지도형 희소 코딩 목적함수를 설계할 수 있는가?
• RQ2 제안된 사전과 가중치 학습을 위한 비볼록 최적화 프레임워크는 전역 최소값으로 수렴을 보장하는가?
• RQ3 예측 정확도 측면에서 지도형 희소 코딩은 비지도형 희소 코딩과 고정 타일 코딩 표현보다 어떻게 비교되는가?
• RQ4 지도형 및 비지도형 손실의 조합은 학습된 표현의 품질과 희소성에 어떤 영향을 미치는가?
• RQ5 Mountain Car, Puddle World, Acrobot와 같은 다양한 강화학습 환경에서 압축된 학습된 표현을 사용해 일반화가 가능한가?

주요 결과

• 제안된 SCoPE 방법은 압축된 표현을 사용함에도 불구하고 Moutain Car와 Acrobot에서 타일 코딩보다 낮은 최종 예측 오차를 달성한다.
• 유사한 희소성 패턴을 보임에도 불구하고 지도형 목적함수 덕분에 SCoPE는 비지도형 희소 코딩보다 예측 정확도에서 뛰어나다.
• 지도형 및 비지도형 손실의 조합은 순수 비지도형 방법보다 더 매끄럽고 분포가 잘 퍼진 희소 코드를 생성한다.
• 오직 지도형 손실(MSRE)만 최적화할 경우, 얻어진 표현은 더 분류 능력이 떨어지므로 하이브리드 손실의 필요성을 확인한다.
• SCoPE는 테스트 데이터에서 타일 코딩보다 더 낮은 MSRE를 달성하지만, Puddle World에서는 일부 더 큰 타일 코딩 설정에 비해 성능이 열등하여 MSRE에 대한 과적합 가능성을 시사한다.
• 이론적 분석을 통해 최소한의 조건 하에 목적함수의 모든 국소 최소값이 전역 최소값임을 확인하였으며, 이는 정교한 초기화 없이도 안정적인 최적화를 가능하게 한다.