[논문 리뷰] An Equivalence between Loss Functions and Non-Uniform Sampling in Experience Replay

Scott Fujimoto, David Meger외 1명|arXiv (Cornell University)|2020. 07. 12.

Mental Health Research Topics인용 수 14

한 줄 요약

이 논문은 우선순위 경험 재생(PER)에서 비균일 샘플링과 수정된 손실 함수 사이의 이론적 동치성을 확립하며, 비균일 샘플링 방식이 항상 동일한 기대 기울기 결과를 낳는 변환된 손실 함수를 사용한 균일 샘플링으로 대체될 수 있음을 보여준다. 놀랍게도 일부 환경에서는 표준 PER를 균일 샘플링과 새로운 손실 함수로 대체해도 성능 저하가 발생하지 않으며, 이로 인해 손실 조정 우선순위(LAP)와 우선순위 근사 손실(PAL)이 도입되었으며, MuJoCo와 Atari 환경 전반에서 학습 안정성과 성능 향상을 개선한다.

ABSTRACT

Prioritized Experience Replay (PER) is a deep reinforcement learning technique in which agents learn from transitions sampled with non-uniform probability proportionate to their temporal-difference error. We show that any loss function evaluated with non-uniformly sampled data can be transformed into another uniformly sampled loss function with the same expected gradient. Surprisingly, we find in some environments PER can be replaced entirely by this new loss function without impact to empirical performance. Furthermore, this relationship suggests a new branch of improvements to PER by correcting its uniformly sampled loss function equivalent. We demonstrate the effectiveness of our proposed modifications to PER and the equivalent loss function in several MuJoCo and Atari environments.

연구 동기 및 목표

• 비균일 샘플링과 등가되는 손실 함수를 연결하여 우선순위 경험 재생(PER)의 이론적 기반을 확립한다.
• 매우 널리 사용되지만 공식적인 이론적 기초가 부족한 PER에 대한 이론적 정당성을 제시한다.
• PER의 성능 향상 요인이 샘플링 편향 자체가 아니라 기울기의 등가성 때문일 수 있음을 보여준다.
• 중요도 샘플링이 필요 없고 알고리즘 복잡도를 줄이는 LAP와 PAL을 제안하여 PER의 단순화된 비편향 대체 방법을 제공한다.
• MuJoCo와 Atari 벤치마크에서 기존 DQN과 PER보다 우수한 성능을 보이는 것으로 실증적으로 검증한다.

제안 방법

• 비균일하게 샘플된 데이터로 훈련된 손실 함수의 기대 기울기와 균일하게 샘플된 데이터로 훈련된 다른 손실 함수의 기대 기울기 사이의 수학적 등가성을 유도한다.
• 샘플링 우선순위 분포에 기반해 비균일 샘플링 방식을 조정함으로써 등가의 균일 샘플링 손실 함수로 변환한다.
• 중요도 샘플링을 제거하고 최소 우선순위를 1로 설정함으로써 편향을 줄이고 죽은 전이를 방지하는 손실 조정 우선순위(LAP) 경험 재생을 제안한다.
• LAP의 기대 기울기를 그대로 구현할 수 있는 가중치가 부여된 허버 유사 손실인 우선순위 근사 손실(PAL)을 도입한다. 이는 비균일 샘플링이 필요 없으며, 모든 DQN 기반 알고리즘에 쉽게 통합할 수 있다.
• 학습 가능한 임계값 κ를 고려해 손실 함수와 우선순위 함수를 일반화함으로써 더 나은 수치 안정성과 편향 제어를 가능하게 한다.
• MuJoCo와 Atari 환경에서 표준 하이퍼파라미터와 평가 프로토콜을 사용하여 LAP와 PAL을 표준 DQN 기반 알고리즘에 구현하고 평가한다.

실험 결과

연구 질문

• RQ1 경험 재생에서 비균일 샘플링이 균일 샘플링 하에서 수정된 손실 함수와 이론적으로 동치가 될 수 있는가?
• RQ2 PER의 성능 향상 요인이 샘플링 방식 자체에서 비롯되는가, 아니면 그로 인한 기울기 갱신 결과에서 비롯되는가?
• RQ3 PER를 성능 저하 없이 균일 샘플링과 새로운 손실 함수로 대체할 수 있는가?
• RQ4 PER에서 중요도 샘플링이 유도하는 편향은 어떻게 제거하면서도 학습 효율성을 유지할 수 있는가?
• RQ5 손실 함수와 샘플링 분포 간의 등가성에서 PER에 어떤 향상 요소를 도출할 수 있는가?

주요 결과

• 비균일하게 샘플된 데이터로 훈련된 손실 함수의 기대 기울기는 수학적으로 균일하게 샘플된 다른 변환된 손실 함수의 기대 기울기와 동치이다.
• 여러 개의 MuJoCo와 Atari 환경에서 PER를 균일 샘플링과 새로운 우선순위 근사 손실(PAL)로 대체해도 성능이 유지되거나 향상됨을 확인하였으며, 이는 PER의 이점이 샘플링 편향 자체가 아니라 기울기의 등가성 때문일 수 있음을 시사한다.
• 중요도 샘플링을 제거하고 최소 우선순위를 1로 설정함으로써 편향을 줄이고 죽은 전이를 방지하는 손실 조정 우선순위(LAP) 경험 재생은 표준 PER를 초월하는 성능을 보였다.
• 학습 가능한 임계값 κ를 갖는 일반화된 허버 손실을 기반으로 한 제안된 PAL 손실 함수는 LAP와 동일한 기대 기울기를 달성하며, 코드 수정 최소화로 어떤 DQN 기반 알고리즘에도 쉽게 통합할 수 있다.
• MuJoCo의 Humanoid 작업에서 LAP와 PAL은 최신 기준 성능을 달성하였으며, 기준 DQN과 PER에 비해 뚜렷한 성능 향상을 보였다.
• 실증 결과에 따르면 비균일 샘플링의 분산 감소 성질은 종종 미미하며, 실제로는 새로운 손실 기반 접근 방식이 PER를 완전히 대체할 수 있음을 보여주었다.