[논문 리뷰] DiCE: The Infinitely Differentiable Monte-Carlo Estimator

Jakob Foerster, Gregory Farquhar외 4명|arXiv (Cornell University)|2018. 02. 14.

Explainable Artificial Intelligence (XAI)참고 문헌 19인용 수 9

한 줄 요약

DiCE는 일반적이고 무한히 미분 가능한 몬테카를로 추정기인 스토케스틱 계산 그래프에 대해 자동 미분을 통해 임의의 차수의 기울기를 정확하고 효율적으로 계산할 수 있도록 하는 새로운 방법을 제안한다. 기존의 수작업 유도나 반복적인 서rogate 손실 구성에 의존하는 방법들과는 달리, DiCE는 기울기 의존성을 유지하는 새로운 MagicBox 연산자를 사용함으로써 메타학습 및 다중 에이전트 강화학습에서 정확한 고차 미분 추정을 가능하게 하며, 계산 오버헤드를 크게 줄이고 안정성을 향상시킨다.

ABSTRACT

The score function estimator is widely used for estimating gradients of stochastic objectives in stochastic computation graphs (SCG), eg, in reinforcement learning and meta-learning. While deriving the first-order gradient estimators by differentiating a surrogate loss (SL) objective is computationally and conceptually simple, using the same approach for higher-order derivatives is more challenging. Firstly, analytically deriving and implementing such estimators is laborious and not compliant with automatic differentiation. Secondly, repeatedly applying SL to construct new objectives for each order derivative involves increasingly cumbersome graph manipulations. Lastly, to match the first-order gradient under differentiation, SL treats part of the cost as a fixed sample, which we show leads to missing and wrong terms for estimators of higher-order derivatives. To address all these shortcomings in a unified way, we introduce DiCE, which provides a single objective that can be differentiated repeatedly, generating correct estimators of derivatives of any order in SCGs. Unlike SL, DiCE relies on automatic differentiation for performing the requisite graph manipulations. We verify the correctness of DiCE both through a proof and numerical evaluation of the DiCE derivative estimates. We also use DiCE to propose and evaluate a novel approach for multi-agent learning. Our code is available at https://www.github.com/alshedivat/lola.

연구 동기 및 목표

• 스토케스틱 계산 그래프(SCG)에서 고차 기울기 추정에 있어 기존 방법의 한계, 즉 수작업 유도나 반복적인 서rogate 손실 적용의 문제점을 해결하기 위해.
• 분석적 유도나 복잡한 그래프 변환 없이도 임의의 차수의 도함수에 대해 정확한 추정기를 생성할 수 있는 통합 프레임워크를 개발하기 위해.
• 딥 러닝 프레임워크와의 호환성을 보장하면서도 자동 미분을 활용해 고차 기울기 추정을 가능하게 하기 위해.
• 정확한 고차 기울기 추정을 통해 메타학습 및 다중 에이전트 강화학습의 안정성과 효율성을 향상시키기 위해.
• MAML 및 LOLA와 같은 기법들 간의 공통된 수식 기반을 설정하기 위해, 통합된 기울기 추정 접근법을 통해 유사성과 단순화를 이루기 위해.

제안 방법

• 스토케스틱 계산 그래프에서 임의의 차수의 도함수 추정기로 정확한 결과를 도출할 수 있는 단일 목표함수인 DiCE 추정기를 도입한다.
• 손실에 영향을 주는 스토케스틱 노드를 처리하는 데 사용되는 새로운 연산자인 MagicBox(⋅)를 활용하여, 샘플링 분포를 통해 기울기 계산이 정확히 유지되도록 보장한다.
• 복잡한 그래프 변환을 피하기 위해 자동 미분에 의존함으로써, 수작업 유도나 반복적 서rogate 손실 구성의 필요성을 제거한다.
• 점수 함수 기법을 일반화된 형태로 적용하며, MagicBox가传통적인 서rogate 손실 접근법에서 손실되는 의존성을 유지함으로써 정확한 추정을 가능하게 한다.
• 상대방의 학습 과정을 통과하여 미분함으로써 DiCE 추정기를 다중 에이전트 강화학습에 적용함으로써 안정적이고 효율적인 학습을 가능하게 한다.
• 수학적 증명과 수치적 평가를 통해 정확성을 검증하였으며, 다양한 차수에서 진짜 기울기로 수렴하는 것을 입증하였다.

실험 결과

연구 질문

• RQ1 스토케스틱 계산 그래프에서 임의의 차수의 도함수 추정기로 정확한 결과를 도출할 수 있는 단일이고 미분 가능한 목표함수를 구성할 수 있는가?
• RQ2 기존의 서rogate 손실 접근법이 고차 기울기 추정에서 실패하는 이유는 무엇이며, 어떤 특정한 항목이 누락되거나 잘못되어 있는가?
• RQ3 수작업 유도나 복잡한 그래프 변환 없이도 자동 미분을 효과적으로 활용해 고차 기울기를 계산할 수 있는가?
• RQ4 DiCE는 메타학습 및 다중 에이전트 강화학습에서 고차 최적화 방법의 안정성과 샘플 효율성을 어떻게 향상시키는가?
• RQ5 DiCE는 MAML 및 LOLA와 같은 고차 방법들을 딥 러닝 프레임워크에서 통합하고 단순화할 수 있는가?

주요 결과

• DiCE는 서rogate 손실 방법에서 손실되는 샘플링 분포에 대한 의존성을 유지함으로써 정확한 고차 기울기 추정기를 생성한다.
• 수치적 평가 결과, DiCE 추정기는 진짜 기울기로 수렴하는 것으로 확인되어 이론적 정확성이 검증되었다.
• LOLA-DiCE 에이전트는 배치 크기가 64일 때 안정적인 학습을 달성하였으며, 원본 LOLA 구현에서 요구하는 4000보다 60배 이상 작다.
• LOLA-DiCE는 원본 LOLA 논문에서 보고한 높은 사회적 복지 전략을 재현하였으며, 이는 정확성과 실용성의 동시 확보를 의미한다.
• DiCE는 상대방의 학습 단계를 임의의 수만큼 전개하고 이를 미분할 수 있도록 하여 더 정확한 다중 에이전트 정책 학습을 가능하게 한다.
• DiCE는 현대 딥 러닝 프레임워크와 자동 미분 도구와 호환되는 통합적이고 엔드 투 엔드 솔루션을 제공한다.