[논문 리뷰] Diagnosing Bottlenecks in Deep Q-learning Algorithms

Justin Fu, Aviral Kumar외 2명|arXiv (Cornell University)|2019. 02. 26.

Adversarial Robustness in Machine Learning인용 수 34

한 줄 요약

본 논문은 단위 테스트 프레임워크와 오라클 솔버를 사용하여 Q-learning에서 함수 근사, 샘플링, 비정상성(비정규성)을 해부하고, 대형 네트워크가 안정성을 돕고 재생(replay)과 조기 종료가 과적합을 완화하며, 적대적 특징 매칭 샘플링(adversarial feature matching sampling) 방법을 제안한다.

ABSTRACT

Q-learning methods represent a commonly used class of algorithms in reinforcement learning: they are generally efficient and simple, and can be combined readily with function approximators for deep reinforcement learning (RL). However, the behavior of Q-learning methods with function approximation is poorly understood, both theoretically and empirically. In this work, we aim to experimentally investigate potential issues in Q-learning, by means of a "unit testing" framework where we can utilize oracles to disentangle sources of error. Specifically, we investigate questions related to function approximation, sampling error and nonstationarity, and where available, verify if trends found in oracle settings hold true with modern deep RL methods. We find that large neural network architectures have many benefits with regards to learning stability; offer several practical compensations for overfitting; and develop a novel sampling method based on explicitly compensating for function approximation error that yields fair improvement on high-dimensional continuous control domains.

연구 동기 및 목표

• 함수가 근사하는 정도가 Q-learning의 수렴 및 하위 최적화에 어떤 영향을 주는지 조사한다.
• 샘플링 오차와 과적합이 Q-learning 성능에 미치는 실험적 영향을 정량화한다.
• 움직이는 타깃과 분포 변화에서의 비정규성 및 학습 안정성과의 관계를 살펴본다.
• 학습 효율성과 안정성을 높이기 위한 샘플링 분포와 가중치 체계를 탐구한다.

제안 방법

• Exact-FQI, Sampling-FQI, Replay-FQI를 점진적으로 더 현실적인 Q-learning 변형으로 도입한다.
• 오라클 다이나믹스(dynamics)와 보상(rewards)을 갖춘 유닛 테스트 프레임워크를 사용하여 오차 원인을 고립한다.
• 오라클 Q-값이 있는 표 형태의 도메인과 고차원 연속 제어 과제에서 평가한다.
• 제어된 조건에서 수렴, 투영 편향, 분포 변화를 측정한다.
• 여러 가중 분포(예: Unif, on-policy, Replay)를 테스트하고, 적대적 특징 매칭(AFM)을 제안한다.
• 리플레이 버퍼의 유무 및 오라클에 가까운 조기 종료와의 성능을 비교한다.

실험 결과

연구 질문

• RQ1 함수 근사가 Q-learning의 수렴과 바이어스에 어떤 힘을 주는가?
• RQ2 샘플링 오차와 과적합이 Q-learning 프레임워크의 성능에 어떤 실질적 영향을 미치는가?
• RQ3 움직이는 타깃과 분포 변화가 실제로 불안정성을 증가시키는가?
• RQ4 어떤 샘플링/가중치 분포가 학습 속도와 최종 성능을 극대화하는가?
• RQ5 적대적 특징 매칭과 같은 새로운 샘플링 체계가 고차원 Q-learning의 개선에 기여할 수 있는가?

주요 결과

• 함수 근사 오차는 고용량 함수 근사자에게 큰 문제를 야기하지 않으며 발산은 드물다(그들의 실험에서 0.9%).
• 한정된 샘플로 인한 과적합은 성능을 저하시킴; 재생 버퍼는 커버리지를 개선하여 이를 완화하는 데 도움을 준다.
• 큰 신경망은 과적합 위험에도 불구하고 더 나은 학습 안정성과 최종 성능을 낸다.
• 샘플링 체계 중에서 높은 엔트로피와 더 넓은 분포가 성능을 개선한다; on-policy가 항상 최선은 아니며, Replay 버퍼는 분포 변화를 감소시킨다.
• 적대적 특징 매칭(AFM)은 함수 근사 오차를 보완하고 연구에서 보고된 개선과 일치하는 실용적이고 높은 엔트로피 샘플링 접근이다.