[논문 리뷰] Deep Reinforcement Learning with Decorrelation

Borislav Mavrin, Hengshuai Yao외 1명|arXiv (Cornell University)|2019. 03. 18.

Reinforcement Learning in Robotics참고 문헌 25인용 수 7

한 줄 요약

이 논문은 깊이 강화 학습(DRL)에서 특성 간 상관관계를 감소시키기 위해 손실 함수에 상관관계 페널티를 추가하는 단순하면서도 효과적인 정규화 방법을 제안한다. 딥 Q 네트워크(DQN)와 양자 회귀 DQN(QR-DQN)에서 특성 상관관계를 줄임으로써 학습 효율성과 성능을 햖스르며, 49개의 Atari 게임에서 인간 기준 점수의 70%를 달성하여 표준 DQN 대비 40% 향상되었고, 39개 게임에서 유의미한 성능 향상을 보였으며, 6개 게임에서만 약간의 성능 저하가 있었다.

ABSTRACT

Learning an effective representation for high-dimensional data is a challenging problem in reinforcement learning (RL). Deep reinforcement learning (DRL) such as Deep Q networks (DQN) achieves remarkable success in computer games by learning deeply encoded representation from convolution networks. In this paper, we propose a simple yet very effective method for representation learning with DRL algorithms. Our key insight is that features learned by DRL algorithms are highly correlated, which interferes with learning. By adding a regularized loss that penalizes correlation in latent features (with only slight computation), we decorrelate features represented by deep neural networks incrementally. On 49 Atari games, with the same regularization factor, our decorrelation algorithms perform $70\%$ in terms of human-normalized scores, which is $40\%$ better than DQN. In particular, ours performs better than DQN on 39 games with 4 close ties and lost only slightly on $6$ games. Empirical results also show that the decorrelation method applies to Quantile Regression DQN (QR-DQN) and significantly boosts performance. Further experiments on the losing games show that our decorelation algorithms can win over DQN and QR-DQN with a fined tuned regularization factor.

연구 동기 및 목표

• DRL에서 사용되는 딥 신경망의 높은 특성 상관관계 문제를 해결하여 학습 효율성과 성능 향상을 도모하기 위해.
• 보조 작업이나 경험 재현을 활용하지 않고도 한 번의 단계에서 효과적인 표현을 학습하고 제어 과제를 해결하는 종단 간(end-to-end) 방법을 개발하기 위해.
• 학습된 잠재 특성 간의 상관관계를 명시적으로 감소시켜 DQN과 QR-DQN의 일반화 능력과 안정성을 향상시키기 위해.
• 이 분리 정규화 방법이 분포형 강화 학습 알고리즘인 QR-DQN과 같은 다양한 DRL 아키텍처로 일반화 가능한지 테스트하기 위해.
• 일부 게임에서의 열악한 성능이 방법론적 한계가 아니라 하이퍼파라미터 설정의 비최적성 때문인지 조사하기 위해.

제안 방법

• 딥 신경망의 은닉층에서 특성 간 평균 제곱 상관관계를 페널티로 삼는 정규화된 손실 함수를 도입한다.
• 최종 합성곱층의 활성화로부터 특성 공분산 행렬을 계산하고, 비대각선 원소들의 제곱합에 비례하는 정규화 항을 적용한다.
• 표준 DQN 또는 QR-DQN 손실에 상관관계 페널티 항을 추가하며, 이는 정규화 강도를 조절하는 하이퍼파라미터 λ로 제어된다.
• 스티어티식 경사 하강법를 사용해 네트워크를 종단 간으로 학습하며, 병합된 손실이 예측 정확도와 특성 분리 정규화를 동시에 장려하도록 한다.
• 일관성 있는 일반화 평가를 위해 모든 49개의 Atari 게임에 동일한 정규화 인자 λ를 적용하고, 성능이 떨어지는 게임에서 λ를 미세 조정하여 성능 향상을 도모한다.
• 동일한 분리 메커니즘을 QR-DQN에 적용하여 다양한 DRL 알고리즘 간의 이식 가능성(transferability)을 입증한다.

실험 결과

연구 질문

• RQ1 DRL 표현에서 특성 간 높은 상관관계가 학습 성능 저하와 수렴 속도 저하를 초래하는가?
• RQ2 특성 상관관계를 페널티로 삼는 단순하면서도 미분 가능한 정규화 항이 다양한 환경에서 DQN 성능을 크게 향상시킬 수 있는가?
• RQ3 이 분리 방법은 QR-DQN과 같은 분포형 강화 학습 변종 알고리즘으로도 일반화 가능한가?
• RQ4 일부 Atari 게임에서의 성능 저하는 방법론적 실패가 아니라 정규화 하이퍼파라미터 설정의 비최적성 때문인가?
• RQ5 분리된 특성은 DRL 모델에서 더 해석 가능하거나 덜 중복된 표현을 이끌 수 있는가?

주요 결과

• 분리 정규화 방법은 DQN 성능을 인간 기준 점수 70%로 향상시켜 표준 DQN 대비 40%의 상대적 향상을 이뤘으며, 49개의 Atari 게임에서 전반적으로 성과를 냈다.
• 39개 게임에서는 분리된 DQN(DQN-decor)이 표준 DQN을 초월했고, 4개 게임에서는 유사한 성능를 기록했으며, 6개 게임에서만 약간의 성능 저하가 있었다.
• QR-DQN에 적용했을 때, 이 정규화 방법은 중앙값 기준 인간 기준 점수를 크게 향상시켰으며, 34개 게임에서 누적 보상 기준 >5% 우수성을 확보했고, 5개 게임에서 지고, 10개 게임에서는 근소한 격차를 보였다.
• 성능 저하가 발생한 게임의 원인은 비최적의 정규화 인자 설정에 기인했으며, λ의 미세 조정으로 강력한 성능이 복원되어 방법의 강건성을 입증했다.
• 특성 공분산 분석 결과, DQN-decor는 표준 DQN 대비 비대각선 상관관계 크기가 유의미하게 낮고, 활성화가 높은 중복 특성 수가 적었다.
• 시각화 결과, DQN-decor는 입력 프레임당 동시에 활성화되는 특성 수가 적어 더 흐릿하고 더 명확한 표현을 형성하는 것으로 나타났으며, 이는 해석 가능성 향상에 기여할 수 있다.