[논문 리뷰] Unsupervised Representation Learning in Deep Reinforcement Learning: A Review

Nicolò Botteghi, Mannes Poel외 1명|arXiv (Cornell University)|2022. 08. 27.

Reinforcement Learning in Robotics인용 수 4

한 줄 요약

이 리뷰는 딥 강화학습(DRL)에서 고차원적이고 노이즈가 많은 관측치로부터 저차원적이고 해석 가능한 상태 표현을 학습하는 데 초점을 맞춘 비지도 표현 학습(SRL) 방법을 종합적으로 다룬다. 오토에인코더, 대비 학습, 잠재 MDP 모델, 사전 기반 접근법을 조사하여, 차원의 저주를 완화하고 블랙박스 정책의 해석 가능성을 향상시킴으로써 DRL에서 샘플 효율성, 강인성, 일반화 능력을 향상시키는 데 기여함을 보여준다.

ABSTRACT

This review addresses the problem of learning abstract representations of the measurement data in the context of Deep Reinforcement Learning (DRL). While the data are often ambiguous, high-dimensional, and complex to interpret, many dynamical systems can be effectively described by a low-dimensional set of state variables. Discovering these state variables from the data is a crucial aspect for (i) improving the data efficiency, robustness, and generalization of DRL methods, (ii) tackling the curse of dimensionality, and (iii) bringing interpretability and insights into black-box DRL. This review provides a comprehensive and complete overview of unsupervised representation learning in DRL by describing the main Deep Learning tools used for learning representations of the world, providing a systematic view of the method and principles, summarizing applications, benchmarks and evaluation strategies, and discussing open challenges and future directions.

연구 동기 및 목표

• 딥 강화학습(DRL)에서 고차원적이고 모호한 관측치에 대응하기 위해 압축되고 의미 있는 상태 표현을 학습함으로써 도전 과제를 해결하는 것.
• 원시 데이터로부터 저차원 상태 변수를 발견함으로써 DRL에서 샘플 효율성, 강인성, 일반화 능력을 향상시키는 것.
• 비지도 표현 학습을 통해 블랙박스 DRL 정책의 해석 가능성을 향상시키고 통찰을 제공하는 것.
• DRL에서 상태 표현 학습을 위한 평가 전략과 벤치마크를 체계화하는 것.
• 불확실성 측정, 인도크티브 비아스, 일반 표현의 메타학습과 같은 열린 과제를 규명하는 것.

제안 방법

• 오토에인코더, 잠재 MDP 모델링, 사전 기반 정규화, 대비 학습을 포함한 SRL 방법의 네 가지 주요 유형을 조사.
• 복합적인 관측 공간을 모델링하기 위해 완전히 연결된, 컨볼루션형, 순환형 딥 신경망을 상태 표현 학습에 통합.
• 표현의 탈중복성 향상을 위해 오토에인코더 기반 표현에 보조 손실(예: 예측, 재구성)을 적용.
• 모델 기반 RL에서 잠재 전방 및 보상 모델을 사용하여 원시 관측치로부터 예측 가능한 저차원 표현을 학습.
• 대칭성, 군 불변성 등과 같은 구조적 사전 지식과 인도크티브 비아스를 활용하여 표현 학습을 이끌고 일반화 능력을 향상.
• 보상의 변화 추이, 구조적 지표(예: 선형 프로브 정확도), 질적 해석 가능성 평가를 통해 표현을 평가.

실험 결과

연구 질문

• RQ1 비지도 표현 학습은 모델 프리 딥 강화학습에서 샘플 효율성과 일반화 능력을 어떻게 향상시킬 수 있는가?
• RQ2 고차원적 관측치로부터 탈중복되고 불변하는 상태 표현을 학습하기 위해 가장 효과적인 아키텍처와 학습 목표는 무엇인가?
• RQ3 비지도 표현 학습을 활용하여 모델 기반 RL에서 잠재 MDP 모델을 어떻게 구성하고 최적화할 수 있는가?
• RQ4 인도크티브 비아스, 대칭성, 사전 지식은 학습된 표현의 강인성과 해석 가능성 향상에 어떤 역할을 하는가?
• RQ5 비지도 표현의 품질을 신뢰성 있게 평가하기 위해 불확실성 측정과 평가 지표는 어떻게 향상시킬 수 있는가?

주요 결과

• 비지도 표현 학습은 상태 공간의 효과적 차원을 감소시킴으로써 DRL에서 샘플 효율성과 일반화 능력을 크게 향상시킨다.
• 보조 손실(예: 예측, 재구성)을 적용한 오토에인코더 기반 방법은 표현 품질을 향상시키고 DRL 학습의 수렴 속도를 높인다.
• 대비 학습과 잠재 MDP 모델은 환경과 작업 간에 일반화 가능한 탈중복되고 불변하는 표현을 발견하는 데 기여한다.
• 선형 프로브 정확도와 같은 구조적 지표는 후속 RL 성능과 상관이 있지만 최적의 보상을 보장하지는 않으며, 평가의 한계를 드러낸다.
• 딥 커널 학습을 통한 불확실성 측정은 특히 노이즈가 많거나 혼란스러운 역학에서 강인성을 향상시키는 데 유망한 방향성을 보인다.
• 일반 목적의 표현에 대한 메타학습은 아직 탐색되지 않은 분야이지만, DRL에서 샘플 효율적인 소수의 적응 및 전이 학습을 위한 길을 열어준다.