[논문 리뷰] A Bayesian encourages dropout

Shin‐ichi Maeda|arXiv (Cornell University)|2014. 12. 22.

Gaussian Processes and Bayesian Inference참고 문헌 11인용 수 35

한 줄 요약

이 논문은 신경망 내에서 드롭아웃의 베이지안 해석을 제공하며, 드롭아웃 비율을 최적화할 수 있는 학습 가능한 파라미터로 삼아 주변 가능도를 최적화하는 근사 베이지안 모델 평균화로 프레임워크를 재정의한다. 드롭아웃을 모델 아키텍처에 대한 근사 베이지안 추론 수단으로 간주함으로써, 고정된 비율 대비 더 나은 가중치 학습과 예측 성능을 달성하는 적응형 드롭아웃 비율 최적화가 가능해진다.

ABSTRACT

Dropout is one of the key techniques to prevent the learning from overfitting. It is explained that dropout works as a kind of modified L2 regularization. Here, we shed light on the dropout from Bayesian standpoint. Bayesian interpretation enables us to optimize the dropout rate, which is beneficial for learning of weight parameters and prediction after learning. The experiment result also encourages the optimization of the dropout.

연구 동기 및 목표

• 드롭아웃을 신경망 아키텍처에 대한 근사 베이지안 모델 평균화로 공식적으로 해석함으로써, 베이지안 프레임워크 내에서의 해석을 제공한다.
• 드롭아웃 비율을 고정된 값이 아닌 주변 가능도를 최적화하는 학습 가능한 초모수로 프레임워크화한다.
• 최적화된 드롭아웃 비율을 통해 진정한 모델 구조에 대한 사후분포를 근사함으로써, 가중치 학습과 예측 성능을 향상시킨다.
• 표준 드롭아웃 알고리즘을 확장하여 각 은닉 유닛별 드롭아웃 비율을 허용함으로써, 더 높은 유연성과 데이터 기반 적응성을 확보한다.

제안 방법

• 논문은 각 가중치를 $ W_{ij} = z_j \tilde{W}_{ij} $ 로 표현하는 계층 베이지안 프로세스로 드롭아웃을 모델링하며, $ z_j \sim \text{Ber}(p_j) $ 이고, 이로 인해 드롭아웃 비율 $ p_j $ 가 학습 가능해진다.
• 주변 가능도 $ \log p(D|\theta) $ 는 $ \sum_{\mathbf{z}} p(\mathbf{y}|\mathbf{x}, \mathbf{z}, \theta) p(\mathbf{z}) $ 를 통해 모든 부분모델에 대해 평균화함으로써 근사된다. 여기서 $ p(\mathbf{z}) $ 는 학습 가능한 비율을 가진 베르누이 사전확률이다.
• 이 방법은 부분모델 사후분포 하에서 기대 로그가능도를 최대화함으로써 드롭아웃 비율 $ p_j $ 를 최적화하여, 최적의 모델 평균화 가중치를 학습한다.
• 표준 드롭아웃을 일반화하기 위해 전역 고정 비율 대신 각 유닛별 드롭아웃 비율을 허용함으로써, 더 높은 민첩성과 데이터 적응형 정규화를 가능하게 한다.
• 이 프레임워크는 $ A_k \sim Z^{(k)} \tilde{A}_k $ 와 같이, 학습 가능한 베르누이 항목을 가진 $ Z^{(k)} $ 를 통해 시간 및 상태별 희박성을 모델링할 수 있는 구조적 모델(VAR 등)으로 확장된다.
• 표준 드롭아웃보다 계산 비용이 더 높지만, 특히 고차원 모델 선택 문제에서 베이지안 모델 평균화에 더 정확한 근사를 제공한다.

실험 결과

연구 질문

• RQ1 드롭아웃을 어떻게 공식적인 베이지안 프레임워크 내에서 해석할 수 있으며, 이를 통해 모델 일반화를 향상시킬 수 있는가?
• RQ2 드롭아웃 비율을 주변 가능도와 예측 분포를 더 잘 근사하기 위해 학습 가능한 파라미터로 최적화할 수 있는가?
• RQ3 고정된 전역 비율 대비 각 유닛별 드롭아웃 비율을 학습할 경우, 가중치 학습과 테스트 성능에 어떤 영향을 미치는가?
• RQ4 이러한 방법은 표준 드롭아웃 및 기타 정규화 기법과 비교하여 모델 선택 및 예측 정확도 측면에서 어떻게 성능을 내는가?
• RQ5 이러한 베이지안 해석은 시간 및 상태별 희박성을 가진 벡터 자기회귀 모델과 같은 구조적 모델로 확장할 수 있는가?

주요 결과

• 베이지안 해석은 각 서브모델(드롭아웃 마스크로 정의됨)을 그 사후확률에 비례한 가중치로 가중하는 근사 베이지안 모델 평균화로 프레임워크를 재정의한다.
• 드롭아웃 비율을 학습 가능한 파라미터로 최적화함으로써 주변 가능도의 근사가 향상되어 학습 및 일반화 성능이 향상된다.
• 특히 모델 복잡도가 높은 상황에서 고정 비율을 사용하는 표준 드롭아웃 대비 더 뛰어난 예측 성능을 달성한다.
• 유닛 그룹화나 제약 조건을 통해 구조적 희박성 패턴을 유도함으로써, 시간 시리즈 및 기타 구조적 데이터의 효율적 모델링이 가능해진다.
• 변수 및 지연 단위별로 학습 가능한 드롭아웃 비율을 통해 다른 모델, 예를 들어 VAR 모델 등으로 일반화 가능하며, 복잡한 희박성 패턴을 포착할 수 있다.
• 표준 드롭아웃보다 계산 비용이 더 높지만, 특히 고차원 모델 선택 과제에서 더 정확한 베이지안 근사를 제공한다.