[논문 리뷰] Concrete Dropout

Yarin Gal, Jiri Hron외 1명|arXiv (Cornell University)|2017. 05. 22.

Adversarial Robustness in Machine Learning참고 문헌 19인용 수 123

한 줄 요약

이 논문은 딥 네ural 네트워크에서 최적의 드롭아웃 비율을 엔드 투 엔드로 학습할 수 있도록 허용하는, 기존 드롭아웃의 미분 가능하고 연속적인 리미프레션을 제안한다. 드롭아웃을 콘크리트 분포를 통한 연속적인 확률적 게이트로 공식화함으로써, 학습 중에 자동으로 적응형 드롭아웃 비율을 조정할 수 있게 되어 불확실성 캘리브레이션을 향상시키고 수작업 그리드 서치에 대한 의존도를 줄였다. 특히 대규모 모델과 강화학습 환경에서 매우 유용하다.

ABSTRACT

Dropout is used as a practical tool to obtain uncertainty estimates in large vision models and reinforcement learning (RL) tasks. But to obtain well-calibrated uncertainty estimates, a grid-search over the dropout probabilities is necessary - a prohibitive operation with large models, and an impossible one with RL. We propose a new dropout variant which gives improved performance and better calibrated uncertainties. Relying on recent developments in Bayesian deep learning, we use a continuous relaxation of dropout's discrete masks. Together with a principled optimisation objective, this allows for automatic tuning of the dropout probability in large models, and as a result faster experimentation cycles. In RL this allows the agent to adapt its uncertainty dynamically as more data is observed. We analyse the proposed variant extensively on a range of tasks, and give insights into common practice in the field where larger dropout probabilities are often used in deeper model layers.

연구 동기 및 목표

• 기존 드롭아웃을 사용할 경우 깊이 학습 모델에서 불확실성 추정이 잘 캘리브레이션되지 않는 문제를 해결하기 위해.
• 대규모 모델과 강화학습 환경에서 드롭아웃 확률에 대한 수작업 그리드 서치가 필요 없도록 하기 위해.
• 이산적인 드롭아웃 매스크의 연속적 리미프레션을 통해 최적의 드롭아웃 비율을 엔드 투 엔드로 학습할 수 있도록 하기 위해.
• 특히 더 깊은 아키텍처와 RL 환경에서 불확실성 캘리브레이션과 학습 효율성을 향상시키기 위해.

제안 방법

• 이 방법은 콘크리트 분포를 사용하여 이산적인 드롭아웃 매스크의 연속적 리미프레션을 도입함으로써, 드롭아웃 비율에 대한 기울기 기반 최적화를 가능하게 한다.
• 미분 가능한 온도 매개변수는 리미프레션의 날카움을 제어하며, 학습 중 최적의 드롭아웃 확률을 모델이 학습할 수 있도록 한다.
• 제안된 목적 함수는 베이지안 딥 러닝 프레임워크를 통해 불확실성 추정을 학습 과정에 통합한다.
• 드롭아웃 비율을 학습 가능한 파라미터로 간주하면서, 백프로파게이션을 사용해 엔드 투 엔드로 모델을 훈련한다.
• 이 접근법은 특히 데이터가 순차적인 강화학습 환경에서 불확실성의 동적 적응을 가능하게 하여 유용하다.
• 기존 딥 러닝 프레임워크와 호환되며, 대규모 모델로도 효율적으로 스케일링된다.

실험 결과

연구 질문

• RQ1 드롭아웃의 연속적 리미프레션은 딥 네URAL 네트워크에서 불확실성 캘리브레이션을 향상시키는가?
• RQ2 드롭아웃 비율의 엔드 투 엔드 학습은 대규모 모델에서 수작업 하이퍼파ram터 튜닝이 필요 없음을 보장하는가?
• RQ3 고정된 비율로 설정된 표준 드롭아웃과 비교해 콘크리트 드롭아웃은 캘리브레이션과 정확도 측면에서 어떻게 성능을 내는가?
• RQ4 이 방법은 강화학습 환경에서 학습 도중 불확실성 추정을 동적으로 조정할 수 있는가?
• RQ5 더 깊은 아키텍처에서 다양한 레이어 간에 학습된 드롭아웃 비율은 어떻게 변화하는가?

주요 결과

• 콘크리트 드롭아웃은 특히 더 깊은 네트워크 레이어에서 고정된 비율로 설정된 표준 드롭아웃보다 더 잘 캘리브레이션된 불확실성 추정을 달성한다.
• 수작업 하이퍼파ram터 튜닝이 줄어들어 더 빠르고 효율적인 실험 사이클을 가능하게 한다.
• 강화학습 환경에서는 에이전트가 더 많은 데이터를 관찰할수록 동적으로 자신의 불확실성 추정을 조정함으로써 샘플 효율성이 향상된다.
• 학습된 드롭아웃 비율은 더 깊은 레이어에서 더 높게 나타나, 분야 내 일반적인 경험적 관행과 일치한다.
• 다양한 벤치마크 작업 전반에서 정확도를 유지하거나 향상시키면서도 더 신뢰할 수 있는 불확실성 추정을 제공한다.
• 연속적 리미프레션은 드롭아웃 게이트를 통해 효과적인 백프로파게이션을 가능하게 하여 드롭아웃 비율을 학습 가능한 파라미터로 만든다.