[논문 리뷰] Overcoming Catastrophic Interference in Online Reinforcement Learning with Dynamic Self-Organizing Maps

Yat Long Lo, Sina Ghiassian|arXiv (Cornell University)|2019. 10. 29.

Data Stream Mining Techniques인용 수 6

한 줄 요약

이 논문은 경험 재생이나 타겟 네트워크 없이도 치명적 간섭을 완화하는 온라인, 완전히 누적형 강화학습을 위한 동적 자기조직화 지도(DSOM) 기반 신경망을 제안한다. DSOM을 사용해 상태에 따라 달라지는 국소적 업데이트 마스크를 생성함으로써 국소적 가중치 업데이트를 가능하게 하여 간섭을 감소시키며, Mountain Car와 Lunar Lander에서 경험 재생 기반 방법과 동등하거나 더 뛰어난 성능을 달성하면서도 더 적은 은닉 유닛을 요구한다.

ABSTRACT

Using neural networks in the reinforcement learning (RL) framework has achieved notable successes. Yet, neural networks tend to forget what they learned in the past, especially when they learn online and fully incrementally, a setting in which the weights are updated after each sample is received and the sample is then discarded. Under this setting, an update can lead to overly global generalization by changing too many weights. The global generalization interferes with what was previously learned and deteriorates performance, a phenomenon known as catastrophic interference. Many previous works use mechanisms such as experience replay (ER) buffers to mitigate interference by performing minibatch updates, ensuring the data distribution is approximately independent-and-identically-distributed (i.i.d.). But using ER would become infeasible in terms of memory as problem complexity increases. Thus, it is crucial to look for more memory-efficient alternatives. Interference can be averted if we replace global updates with more local ones, so only weights responsible for the observed data sample are updated. In this work, we propose the use of dynamic self-organizing map (DSOM) with neural networks to induce such locality in the updates without ER buffers. Our method learns a DSOM to produce a mask to reweigh each hidden unit's output, modulating its degree of use. It prevents interference by replacing global updates with local ones, conditioned on the agent's state. We validate our method on standard RL benchmarks including Mountain Car and Lunar Lander, where existing methods often fail to learn without ER. Empirically, we show that our online and fully incremental method is on par with and in some cases, better than state-of-the-art in terms of final performance and learning speed. We provide visualizations and quantitative measures to show that our method indeed mitigates interference.

연구 동기 및 목표

• 신경망의 전역적 가중치 업데이트로 과거 지식을 잊는 문제로 인해 발생하는 치명적 간섭을 온라인, 완전히 누적형 강화학습 환경에서 해결하기 위해.
• 메모리 집약적이고 복잡한 대규모 문제에 비현실적인 경험 재생 버퍼와 타겟 네트워크에 의존하지 않도록 하기 위해.
• 상태 유사도 기반으로 가중치 업데이트를 국소화함으로써 안정적이고 누적형 학습이 가능한 메모리 효율적인 방법을 개발하기 위해.
• DSOM 기반 국소화가 경험 재생 및 타겟 네트워크를 사용하는 최첨단 방법과 동등하거나 더 뛰어난 성능을 달성할 수 있음을 보여주기 위해.
• 활성화 국소화와 간섭 측도를 포함한 정성적 및 정량적 방법을 통해 방법이 간섭을 얼마나 줄이는지 검증하기 위해.

제안 방법

• 각 은닉 유닛의 출력 기여도를 조절하기 위해 상태에 따라 달라지는 마스크를 생성하기 위해 동적 자기조직화 지도(DSOM)를 도입한다.
• DSOM을 사용해 가중치 업데이트를 조건화함으로써 현재 상태에 반응하는 은닉 유닛들만 업데이트되도록 하여 학습 과정을 국소화한다.
• 마스크를 적용해 은닉 유닛 활성화를 재가중함으로써 업데이트가 오직 소수의 관련 파rameter들에만 영향을 주도록 보장하여 간섭을 감소시킨다.
• 특히 고차원 상태 공간에서 간섭을 줄이고 학습을 더 안정화시키기 위해 애덤과 선형 탐색(ADAM with Line Search, ALR) 최적화기를 사용한다.
• DSOM과 신경망을 종합적으로 엔드 투 엔드 방식으로 함께 훈련시켜 지도가 상태 특수 표현을 적응적으로 학습하도록 한다.
• 경험 재생과 타겟 네트워크를 완전히 회피함으로써 최소한의 메모리 오버헤드로 온라인, 누적형 학습이 가능하도록 한다.

실험 결과

연구 질문

• RQ1 경험 재생 버퍼가 없는 메모리 효율적인 온라인, 완전히 누적형 강화학습 방법이 치명적 간섭을 완화할 수 있는가?
• RQ2 동적 자기조직화 지도를 통해 가중치 업데이트를 국소화하면 신경망에서 전역적 업데이트에 비해 간섭을 줄일 수 있는가?
• RQ3 DSOM 기반 국소화가 더 적은 은닉 유닛으로 효과적인 학습을 가능하게 하여 샘플 및 파rameter 효율성을 향상시킬 수 있는가?
• RQ4 기본적인 경험 재생 기반 방법과 비교할 때 표준 강화학습 벤치마크에서 최종 성능 및 학습 속도 측면에서 어떻게 성능을 내는가?
• RQ5 활성화 겹침과 정량적 간섭 측도로 측정했을 때, 이 방법이 간섭을 어느 정도 줄이는가?

주요 결과

• 제안된 방법은 경험 재생이나 타겟 네트워크 없이도 Mountain Car와 Lunar Lander에서 경험 재생 기반 방법과 동등하거나 더 뛰어난 성능을 달성한다.
• Mountain Car에서 이 방법은 단 36개의 은닉 유닛으로도 과제를 해결했으며, 이는 기준선 대비 상당히 적은 수의 유닛을 의미하여 파rameter 효율성이 향상됨을 보여준다.
• 정량적 간섭 측도에서 DSOM 방법은 모든 방법 중에서 가장 낮은 간섭 점수(0.1079)를 기록하여 상태 간 활성화 겹침이 최소임을 나타낸다.
• 시각화 결과에서 DSOM-은닉 유닛들이 상태 공간의 국소적 영역에만 반응하는 것으로 나타나, 방법이 국소적이고 특수화된 표현을 유도할 수 있음을 확인했다.
• ER 기반 기준선보다 빠르게 학습했으며 일관된 성능을 유지했고, 반면 ER 기반 방법은 학습 불안정성과 성능 하락을 보였다.
• ALR 최적화기를 제거하면 모든 방법에서 성능이 악화되었으며, 이는 ALR가 타겟 네트워크가 없는 환경에서 학습 안정화에 핵심적인 역할을 한다는 것을 시사한다.