[논문 리뷰] Can Increasing Input Dimensionality Improve Deep Reinforcement Learning?

Kei Ota, Tomoaki Oiki외 3명|arXiv (Cornell University)|2020. 03. 03.

Reinforcement Learning in Robotics참고 문헌 26인용 수 15

한 줄 요약

이 논문은 자기지도 보조 작업인 향후 관측치 예측을 통해 저차원 관측치로부터 고차원 상태 표현을 학습하는 온라인 특징 추출 네트워크인 OFENet을 제안한다. 기존의 통념과는 달리, 저자들은 고차원 표현이 깊이 있는 강화학습에서 샘플 효율성과 성능을 크게 향상시킨다는 것을 입증한다. 특히 적절한 표현 학습과 결합할 경우, 연속 제어 벤치마크에서 최신 기법들을 능가한다.

ABSTRACT

Deep reinforcement learning (RL) algorithms have recently achieved remarkable successes in various sequential decision making tasks, leveraging advances in methods for training large deep networks. However, these methods usually require large amounts of training data, which is often a big problem for real-world applications. One natural question to ask is whether learning good representations for states and using larger networks helps in learning better policies. In this paper, we try to study if increasing input dimensionality helps improve performance and sample efficiency of model-free deep RL algorithms. To do so, we propose an online feature extractor network (OFENet) that uses neural nets to produce good representations to be used as inputs to deep RL algorithms. Even though the high dimensionality of input is usually supposed to make learning of RL agents more difficult, we show that the RL agents in fact learn more efficiently with the high-dimensional representation than with the lower-dimensional state observations. We believe that stronger feature propagation together with larger networks (and thus larger search space) allows RL agents to learn more complex functions of states and thus improves the sample efficiency. Through numerical experiments, we show that the proposed method outperforms several other state-of-the-art algorithms in terms of both sample efficiency and performance. Codes for the proposed method are available at http://www.merl.com/research/license/OFENet .

연구 동기 및 목표

• 낮은 차원의 상태 표현이 더 나은 RL 성능을 이끌다는 기존의 믿음을 도전하기 위해.
• 학습된 고차원 특징를 통해 입력 차원을 증가시키면 깊이 있는 강화학습에서 샘플 효율성과 정책 성능이 향상되는지 조사하기 위해.
• 기본 RL 알고리즘의 하이퍼파rameter를 조정하지 않고도 효과적인 특징 표현 학습을 가능하게 하는 방법을 개발하기 위해.
• 더 깊고 넓은 네트워크로 인해 더 큰 표현 공간이 가능해지면 RL 에이전트가 더 나은 정책을 발견할 수 있는지 탐색하기 위해.
• 의미 있는 고차원 표현을 학습하는 데 보조 과제가 미치는 영향을 평가하기 위해.

제안 방법

• 저차원 관측치와 행동을 고차원 표현으로 매핑하는 신경망인 OFENet을 제안하며, 이는 MLP-DenseNet 아키텍처를 사용한다.
• OFENet을 온라인 방식으로 훈련하기 위해, RL 정책과 함께 향후 관측치를 예측하는 자기지도 보조 과제를 사용한다.
• 훈련 중 특징 전파와 기울기 유입을 향상시키기 위해 MLP-DenseNet에 밀집 스킵 연결을 적용한다.
• OFENet의 모든 레이어 출력을 연결하여 임계적인 정보를 유지하는 풍부한 고차원 표현을 형성한다.
• 표준 딥 RL 알고리즘(예: SAC)에 OFENet 표현을 입력으로 사용하며, 정책 네트워크나 하이퍼파rameter를 수정하지 않는다.
• 동일한 경험 리플레이 버퍼를 사용하여 OFENet과 RL 에이전트를 함께 훈련함으로써 표현과 정책의 공동 최적화를 실현한다.

실험 결과

연구 질문

• RQ1 학습된 고차원 표현을 통해 입력 차원을 증가시키면 깊이 있는 강화학습에서 샘플 효율성이 향상되는가?
• RQ2 향후 관측치를 예측하는 자기지도 보조 과제는 무작위 또는 고정된 표현보다 더 나은 정책 학습을 이끌 수 있는가?
• RQ3 고차원 표현의 이점은 표현 학습 과정의 품질에 의존하는가, 아니면 단지 차원 수 자체로도 충분한가?
• RQ4 OFENet 표현의 크기가 RL 에이전트의 성능과 학습 속도에 어떤 영향을 미치는가?
• RQ5 OFENet은 기본 RL 알고리즘을 수정하지 않고도 다양한 연속 제어 환경에서 성능 향상을 이룰 수 있는가?

주요 결과

• OFENet은 HalfCheetah-v2 및 Ant-v2와 같은 벤치마크 연속 제어 작업에서 샘플 효율성과 최종 성능 측면에서 여러 최신 기법들을 능가한다.
• 기본 RL 알고리즘(SAC)을 그대로 유지하더라도 뛰어난 성능을 달성함으로써, 표현 학습과 정책 학습을 분리할 수 있음을 보여준다.
• OFENet 표현의 차원을 4에서 128로 늘릴수록 HalfCheetah-v2에서 정책 성능이 단조롭게 향상되며, 포화점에 도달한다.
• 적절한 표현 학습 없이 정책 네트워크의 파라미터 수만 늘리는 것(동일 파라미터 기준)은 OFENet의 성능을 따라잡지 못함으로써, 표현 품질이 모델 크기 자체보다 더 중요하다는 것을 시사한다.
• 훈련 전에 OFENet을 고정시키면 성능이 열악해지므로, RL 정책과 함께 온라인으로 공동 훈련하는 것이 효과적인 표현 학습을 위해 필수적임을 보여준다.
• 향후 관측치를 예측하는 보조 과제가 필수적임을 입증한다. 이 과제 없이 OFENet을 훈련하면 성능이著しく 악화되며, 성공적인 학습을 위해서는 과제 인식 표현 학습이 필요하다.