[논문 리뷰] Transient Non-Stationarity and Generalisation in Deep Reinforcement Learning

Whiteson, S, Igl, M외 3명|arXiv (Cornell University)|2020. 06. 10.

Reinforcement Learning in Robotics인용 수 11

한 줄 요약

이 논문은 정적 환경에서도 변화하는 행동 정책에 의해 유도되는 임시 비정상성(Transient non-stationarity)이 딥 강화학습에서 일반화 성능을 저하시키는 핵심 요인임을 규명한다. 이를 해결하기 위해, 훈련 중 비정상성을 줄이기 위해 주기적으로 정책을 새로 초기화된 학생 네트워크에 복제하는 이터레이티드 리레닝(Iterated Relearning, Iter)을 제안한다. 이는 ProcGen 및 Multiroom 벤치마크에서 일반화 성능을 크게 향상시킨다.

ABSTRACT

Non-stationarity can arise in Reinforcement Learning (RL) even in stationary environments. For example, most RL algorithms collect new data throughout training, using a non-stationary behaviour policy. Due to the transience of this non-stationarity, it is often not explicitly addressed in deep RL and a single neural network is continually updated. However, we find evidence that neural networks exhibit a memory effect where these transient non-stationarities can permanently impact the latent representation and adversely affect generalisation performance. Consequently, to improve generalisation of deep RL agents, we propose Iterated Relearning (ITER). ITER augments standard RL training by repeated knowledge transfer of the current policy into a freshly initialised network, which thereby experiences less non-stationarity during training. Experimentally, we show that ITER improves performance on the challenging generalisation benchmarks ProcGen and Multiroom.

연구 동기 및 목표

• 정적 환경에서도 변화하는 행동 정책에 의해 유도되는 딥 RL의 임시 비정상성이 일반화 성능에 어떤 영향을 미치는지 조사하는 것.
• catastrophic forgetting이 성능 저하를 완전히 설명할 수 없다는 가정에 도전하며, 학습된 표현에서 기억 효과(Memory effect)가 존재함을 제안하는 것.
• 훈련 중 비정상성을 줄이는 실용적인 훈련 프레임워크를 개발하여 딥 RL 에이전트의 일반화 성능을 향상시키는 것.
• 비정상성이 일반화에 악영향을 미치고, 네트워크의 주기적 재초기화가 이 효과를 완화할 수 있음을 경험적으로 검증하는 것.

제안 방법

• 주기적으로 현재 정책 및 가치 함수를 새로 초기화된 학생 네트워크에 복제하는 훈련 프레임워크인 이터레이티드 리레닝(Iterated Relearning, Iter)을 제안한다.
• 지식 복제를 통해 훈련된 '선생님' 네트워크의 정책 및 가치 출력을 새로 생성된 '학생' 네트워크로 이관함으로써, 학생 네트워크 훈련 단계에서 비정상성을 최소화한다.
• 주 훈련과 병행하여 복제를 수행함으로써 추가 데이터가 필요 없으며, 비정상성도 최소한도로 유도한다.
• 학생의 학습을 이끄는 데는 선생님 네트워크의 소프트 레이블을 사용하여 개선된 잠재 표현을 학습하도록 유도한다.
• 각 학생 네트워크가 복제를 완료한 후 기존 선생님 네트워크를 교체함으로써, 정적 데이터 분포에서의 지속적인 재훈련이 가능하도록 순차적인 훈련 반복을 적용한다.
• 멀티룸 환경과 ProcGen 벤치마크에서 이 방법을 검증하여, 보류된 테스트 환경 간의 일반화 성능를 비교한다.

실험 결과

연구 질문

• RQ1 변화하는 행동 정책에 의해 유도되는 딥 RL의 임시 비정상성은 정적 환경에서도 일반화 성능을 저하시키는가?
• RQ2 딥 신경망은 비정상적 훈련 기간 동안 학습한 열악하거나 최적화되지 않은 특징을 얼마나 오랫동안 유지하는가? 이는 미리 보지 않은 입력에 대한 성능 저하를 초래하는가?
• RQ3 지식 복제를 통한 정책 네트워크의 주기적 재초기화가 딥 RL 에이전트의 일반화 성능 향상에 기여하는가?
• RQ4 어려운 벤치마크에서 표준 훈련 및 기타 정규화 기법과 비교해 볼 때, 이터레이티드 리레닝의 일반화 성능는 어떠한가?
• RQ5 비정상적 훈련 기간 동안 학습된 특징의 관련성이 일반화 성능 저하에 어떤 역할을 하는가?

주요 결과

• CIFAR-10에서의 지도학습에서도 비정상적 훈련이 발생할 경우, 훈련 정확도가 거의 그대로 유지되더라도 테스트 성능에 심각한 저하가 발생한다.
• 신경망은 비정상적 훈련 기간 동안 학습한 관련은 있으나 최적화되지 않은 특징을 기억 효과를 통해 유지하며, 이는 일반화를 저해한다.
• 표현 행렬의 특이값 분해(Singular value decomposition) 분석 결과, 관련적이지만 최적화되지 않은 데이터로 훈련된 네트워크는 더 많은 특징에 의존함을 보여, 레거시 특징 가설을 지지한다.
• 이터레이티드 리레닝은 ProcGen 벤치마크에서 일반화 성능 향상을 보이며, 표준 훈련 대비 보류된 테스트 환경에서 뛰어난 성능을 나타낸다.
• 이터레이티드 리레닝은 멀티룸 환경에서도 성능 향상을 보이며, 다양한 어려운 RL 벤치마크에서의 효과성을 입증한다.
• 기존 정규화 기법과 상호보완적이다. 이는 비정상성에 기인한 일반화 실패의 근본 원인을 직접 타겟으로 하며, 정규화 기법만으로는 완전히 해결할 수 없는 문제를 해결한다.