[논문 리뷰] Improving Performance in Reinforcement Learning by Breaking Generalization in Neural Networks

Sina Ghiassian, Banafsheh Rafiee외 2명|arXiv (Cornell University)|2020. 03. 16.

Reinforcement Learning in Robotics참고 문헌 38인용 수 8

한 줄 요약

이 논문은 딥 강화 학습에서 유해한 일반화를 줄이기 위해 관측값을 이산화 또는 타일 코딩을 통해 고차원 공간으로 매핑하는 간단한 입력 전처리 기법을 제안한다. 유사한 상태 간의 신경망의 과도한 일반화 경향을 억제함으로써, Mountain Car나 Acrobot과 같은 고전적 제어 환경에서 학습 속도, 안정성, 성능 향상을 이룬다. 이는 계산 비용이 거의 들지 않으며 네트워크 아키텍처의 변경 없이도 가능하다.

ABSTRACT

Reinforcement learning systems require good representations to work well. For decades practical success in reinforcement learning was limited to small domains. Deep reinforcement learning systems, on the other hand, are scalable, not dependent on domain specific prior knowledge and have been successfully used to play Atari, in 3D navigation from pixels, and to control high degree of freedom robots. Unfortunately, the performance of deep reinforcement learning systems is sensitive to hyper-parameter settings and architecture choices. Even well tuned systems exhibit significant instability both within a trial and across experiment replications. In practice, significant expertise and trial and error are usually required to achieve good performance. One potential source of the problem is known as catastrophic interference: when later training decreases performance by overriding previous learning. Interestingly, the powerful generalization that makes Neural Networks (NN) so effective in batch supervised learning might explain the challenges when applying them in reinforcement learning tasks. In this paper, we explore how online NN training and interference interact in reinforcement learning. We find that simply re-mapping the input observations to a high-dimensional space improves learning speed and parameter sensitivity. We also show this preprocessing reduces interference in prediction tasks. More practically, we provide a simple approach to NN training that is easy to implement, and requires little additional computation. We demonstrate that our approach improves performance in both prediction and control with an extensive batch of experiments in classic control domains.

연구 동기 및 목표

• 딥 강화 학습 시스템에서의 불안정성과 하이퍼파라미터에 대한 민감성을 해결하기 위해.
• 신경망의 유해한 일반화가 온라인 학습 중 간섭을 악화시키는 방식을 조사하기 위해.
• 정의상 다를 수 있는 상태 간의 과도한 일반화를 제한하기 위해 입력 표현을 수정함으로써 치명적인 간섭을 줄이기 위해.
• 딥 강화 학습의 샘플 효율성과 학습 안정성을 향상시키는 단순하고 저비용의 전처리 방법을 개발하기 위해.
• 입력 공간에서의 일반화를 깨뜨리는 것이 표준 딥 강화 학습보다 더 나은 성능을 내는지 입증하기 위해.

제안 방법

• 연속적인 상태 관측값을 이산화 또는 타일 코딩을 사용해 고차원 이진 표현으로 매핑한다. (각 차원에 대해 독립적으로 이산화하거나, 입력 공간을 겹치는 타일로 나누어 처리한다).
• 각 입력 차원을 바이너리로 나누어 (예: 20 또는 32개의 버킷으로), 해당 버킷 인덱스를 원핫 벡터로 인코딩하고 연결한다.
• 타일 코딩의 경우, 각 차원에 대해 여러 개의 타일링을 적용하고, 활성화된 타일들을 조합하여 입력 상태를 나타내는 이진 벡터로 만든다.
• 고차원 입력 표현은 ReLU 활성화 함수와 선형 출력을 갖는 표준 피드포워드 신경망에 입력되며, 경험 재현 및 타겟 네트워크를 사용하는 표준 DQN 스타일 알고리즘으로 학습된다.
• 이 방법은 예측 및 제어 과제에 동일하게 적용되며, 네트워크 아키텍처나 학습 알고리즘의 변경 없이 입력 전처리만 적용된다.
• 다양한 하이퍼파라미터 설정에서 평가되었으며, 원시 관측값을 사용하는 표준 딥 강화 학습과 비교되었다.

실험 결과

연구 질문

• RQ1 신경망 입력에서의 유해한 일반화를 줄이면 딥 강화 학습에서 학습 안정성과 성능 향상이 이루어지는가?
• RQ2 이산화 또는 타일 코딩을 통한 입력 전처리가 강화 학습의 온라인 학습 중에 얼마나 간섭을 줄이는가?
• RQ3 샘플 효율성과 하이퍼파라미터 민감성 측면에서 제안된 방법은 표준 딥 강화 학습과 어떻게 비교되는가?
• RQ4 간단하고 계산 비용이 낮은 전처리 기법이 고전적 제어 도메인에서 표준 딥 강화 학습을 능가할 수 있는가?
• RQ5 입력 공간에서의 일반화를 깨뜨림으로써 딥 강화 학습 에이전트에서 치명적인 간섭을 완화할 수 있는가?

주요 결과

• 제안된 전처리 방법은 Mountain Car와 Acrobot 환경에서 예측 및 제어 과제 모두에서 학습 속도와 최종 성능 향상에 크게 기여한다.
• 이 방법은 파rameter 민감도를 줄이고 학습을 안정화시켜 하이퍼파라미터 설정 간 일관성 있는 성능을 제공한다.
• 타일 코딩과 이산화 기반 전처리는 최적의 하이퍼파라미터 튜닝을 거친 표준 딥 강화 학습보다도 뛰어난 성능을 보였다.
• 다양한 난수 시드에서 일관된 성능 향상이 관찰되어 변동성이 감소하고 학습 안정성이 향상됨을 시사한다.
• 이 방법은 계산 비용이 낮고 네트워크 또는 학습 알고리즘의 변경 없이도 최신 기술 수준의 딥 강화 학습 에이전트와 경쟁 가능한 성능을 달성했다.
• 결과적으로 입력 공간에서의 유해한 일반화가 딥 강화 학습의 불안정성의 주요 원인임을 시사하며, 전처리를 통해 이를 깨뜨리는 것이 상당한 성능 향상을 이끌 수 있음을 보여준다.