[논문 리뷰] Interference and Generalization in Temporal Difference Learning

Emmanuel Bengio, Joëlle Pineau외 1명|arXiv (Cornell University)|2020. 03. 13.

Domain Adaptation and Few-Shot Learning참고 문헌 49인용 수 10

한 줄 요약

이 논문은 시간차분(TEMPORAL DIFFERENCE, TD) 학습에서 일반화와 간섭 간의 관계를 조사한다. 간섭은 기울기의 내적으로 정의되며, TD 학습은 자연스럽게 낮은 간섭, 과소일반화된 파rameter를 생성함을 발견한다. 이는 지도학습과는 대조적으로, 지도학습에서는 낮은 간섭이 더 나은 일반화와 관련되어 있으나, TD 학습에서는 부트스트래핑의 동적 특성과 비정적 타겟으로 인해 이러한 결과가 발생한다.

ABSTRACT

We study the link between generalization and interference in temporal-difference (TD) learning. Interference is defined as the inner product of two different gradients, representing their alignment. This quantity emerges as being of interest from a variety of observations about neural networks, parameter sharing and the dynamics of learning. We find that TD easily leads to low-interference, under-generalizing parameters, while the effect seems reversed in supervised learning. We hypothesize that the cause can be traced back to the interplay between the dynamics of interference and bootstrapping. This is supported empirically by several observations: the negative relationship between the generalization gap and interference in TD, the negative effect of bootstrapping on interference and the local coherence of targets, and the contrast between the propagation rate of information in TD(0) versus TD($λ$) and regression tasks such as Monte-Carlo policy evaluation. We hope that these new findings can guide the future discovery of better bootstrapping methods.

연구 동기 및 목표

• 시간차분(TD) 학습 내에서 기울기 간섭이 일반화에 미치는 역할을 조사하기.
• TD 학습과 지도학습 간의 간섭 및 일반화 행동을 비교하기.
• 딥 네ural 네트워크를 사용하고도 TD 방법이 자주 열악한 일반화를 초래하는 이유를 이해하기.
• 부트스트래핑과 타겟 안정성의 영향을 고려하여 TD 알고리즘 내에서 간섭 동역학을 분석하기.
• 간섭의 진화를 분석함으로써 향후 보다 나은 부트스트래핑 방법 개발을 이끌어내기

제안 방법

• 두 개의 다른 목적 함수에서 유도된 기울기의 내적을 간섭으로 정의하여 기울기 정렬 정도를 측정한다: $ \rho_{1,2} = \nabla_\theta J_1^T \nabla_\theta J_2 $.
• MsPacman의 리PLAY 버퍼를 활용하여 DQN, DDQN, QL 등의 다양한 TD 방법과 회귀 과제에서 간섭을 경험적으로 측정한다.
• 모멘텀 SGD를 사용하여 간섭의 진화를 분석하고, 기울기의 이동 평균을 포함하는 갱신된 간섭 항을 유도한다.
• TD(0), TD(λ), 몬테카를로 정책 평가 간의 간섭 동역학을 비교하여 정보 전파 및 타겟 일관성 수준을 평가한다.
• 회귀 및 정책 평가 과제를 사용하여 간섭 항 $ r_1, r_2, r_3 $ 를 계산하고, 그 부호 및 크기 분포를 분석한다.
• 고정된 타겟 네트워크(DQN), 지수이동평균(DDQN), 자기타겟(QL)을 활용하여 타겟 안정성이 간섭에 미치는 영향을 연구한다.

실험 결과

연구 질문

• RQ1 TD 학습에서 간섭은 지도학습과 비교해 어떻게 학습 과정 중에 변화하는가?
• RQ2 TD 학습에서 낮은 간섭이 지도학습과는 반대로 열악한 일반화와 관련되는 이유는 무엇인가?
• RQ3 부트스트래핑은 TD 방법에서 간섭 동역학과 타겟 일관성에 어떤 역할을 하는가?
• RQ4 Adam 및 RMSProp과 같은 최적화기 선택이 TD 학습에서 간섭과 일반화에 어떤 영향을 미치는가?
• RQ5 TD(λ)는 TD(0) 및 Q-러닝과 비교해 일반화 및 간섭 안정성 측면에서 어느 정도 향상되는가?

주요 결과

• TD 학습은 일관되게 낮은 간섭 파rameter를 생성하며, 간섭 값이 낮고 종종 음수로 유지되며, 특히 Q-러닝과 DQN에서 두드러진다.
• TD 학습에서 일반화 갭은 간섭과 음의 상관관계를 보이며, 낮은 간섭일수록 일반화가 열악해진다.
• TD 방법에서의 부트스트래핑은 간섭을 감소시키고 타겟 일관성을 떨어뜨려 열악한 일반화와 훈련 데이터의 기억화를 유도한다.
• TD(λ)는 TD(0) 및 Q-러닝보다 더 나은 간섭 안정성과 일반화 성능을 보이며, 향상된 타겟 전파 및 일관성에 기여함을 시사한다.
• 모멘텀 SGD는 기울기의 이동 평균을 따라가며 간섭 분산을 감쇠시켜 TD 학습에서 간섭 진화의 안정성을 높일 수 있다.
• Adam과 RMSProp은 간섭 동역학에서 예상치 못한 차이를 보이며, 최적화기 선택이 TD 학습에서 일반화에 상당한 영향을 미친다는 것을 시사한다.