[논문 리뷰] On Fast Dropout and its Applicability to Recurrent Networks

Justin Bayer, Christian Osendorfer외 4명|arXiv (Cornell University)|2013. 11. 04.

Neural Networks and Applications참고 문헌 28인용 수 45

한 줄 요약

이 논문은 순환 신경망(RNN)을 위한 정규화 기법으로 빠른 드롭아웃(Fast Dropout, FD)을 제안하며, 학습 오차에 따라 동적으로 조정되는 적응형 개별 파라미터 정규화 기법으로서의 기능을 입증한다. 전통적인 L2 정규화와 달리, FD는 전체 가중치를 한 방향으로 끌어당기는 전역적 가중치 중심점을 만들지 않아 RNN의 풍부한 동적 행동을 유지하며, JSBChorales와 MuseData를 포함한 네 가지 벤치마크 데이터셋에서 최신 기술(SOTA) 성능을 기록한다.

ABSTRACT

Recurrent Neural Networks (RNNs) are rich models for the processing of sequential data. Recent work on advancing the state of the art has been focused on the optimization or modelling of RNNs, mostly motivated by adressing the problems of the vanishing and exploding gradients. The control of overfitting has seen considerably less attention. This paper contributes to that by analyzing fast dropout, a recent regularization method for generalized linear models and neural networks from a back-propagation inspired perspective. We show that fast dropout implements a quadratic form of an adaptive, per-parameter regularizer, which rewards large weights in the light of underfitting, penalizes them for overconfident predictions and vanishes at minima of an unregularized training loss. The derivatives of that regularizer are exclusively based on the training error signal. One consequence of this is the absense of a global weight attractor, which is particularly appealing for RNNs, since the dynamics are not biased towards a certain regime. We positively test the hypothesis that this improves the performance of RNNs on four musical data sets.

연구 동기 및 목표

• 표준 RNN에서 과적합 제어가 효과적으로 이루어지지 않는 문제, 특히 기울기 소실/폭발 문제에 비해 잘 연구되지 않은 문제를 해결하기 위해.
• 스토케스틱 드롭아웃의 부드럽고 결정론적인 근사인 빠른 드롭아웃(Fast Dropout)이 RNN을 효과적으로 정규화하면서도 그 동적 행동을 손상시키지 않는지 조사하기 위해.
• 빠른 드롭아웃의 기울기 수학적 구조를 분석하여, 학습 오차 신호로부터 유도된 이차적이고 적응형 정규화 기법임을 보여주기 위해.
• FD-RNN이 순차적 모델링 작업, 특히 장기 의존성 학습에서 뛰어난 성능을 내는지 경험적으로 검증하기 위해.

제안 방법

• 빠른 드롭아웃은 확률적 뉴런 제거를 대체하여, 학습된 드롭아웃 비율에 따라 가중치를 스케일링하는 결정론적이고 미분 가능한 근사로 적용된다.
• 정규화된 손실을 평균 기반 손실과 분산 기반 정규화 기반으로 분해하며, 이 둘 모두 학습 오차 신호에서 유도된다.
• 정규화 기반은 과신한 예측(큰 가중치)을 페널티 처리하면서도, 과소적합이 발생할 경우 큰 가중치를 장려하며, 손실 최소화 지점에서 점점 흐려진다.
• 정규화 기반의 기울기는 외부 사전 지식에 의존하지 않고, 백프로파게이션된 오차에만 의존하므로, 파rameter 공간에서 전역적 가중치 중심점을 만들지 않는다.
• 실험에서는 이진 교차 엔트로피 손실을 최소화하기 위해 시그모이드 출력 레이어를 갖춘 RNN을 사용하여 베르누이 분포를 따르는 피아노 롤 시퀀스를 모델링한다.
• 초기화 조정은 각 데이터셋당 32회 랜덤 서치를 통해 이루어지며, 모델 선택은 검증 오차가 가장 낮은 모델을 기준으로 한다.

실험 결과

연구 질문

• RQ1 빠른 드롭아웃은 RNN을 효과적으로 정규화하면서도 그 동적 행동을 왜곡하지 않는가?
• RQ2 빠른 드롭아웃의 기울기는 L2나 드롭아웃과 같은 전통적 정규화 방법과 어떻게 관련이 있는가?
• RQ3 빠른 드롭아웃은 전역적 가중치 중심점을 도입하지 않으면서도 RNN의 일반화 성능을 향상시킬 수 있는가?
• RQ4 빠른 드롭아웃에서 전역 중심점이 없는 것이 장기 의존성 작업에서 더 뛰어난 성능을 이끌어내는가?

주요 결과

• 빠른 드롭아웃은 네 개의 음악 생성 벤치마크에서 최신 기술(SOTA) 테스트 손실을 기록했으며, 표준 RNN보다 우수하고, 더 복잡한 모델인 RNN-NADE와도 맞먹거나 뛰어나다.
• JSBChorales에서 FD-RNN은 테스트 손실 7.92를 기록하여 표준 RNN을 능가했으며, 더 깊거나 특수화된 아키텍처의 성능에 가까워졌다.
• 반복 가중치 행렬의 스펙트럼 반경은 학습 초반에 증가하다가 안정된 값으로 감소했으며, 이는 장기 기억을 위한 동적 가중치 스케일링이 가능함을 시사한다.
• 이러한 행동은 일반 RNN에서는 관찰되지 않았으며, 빠른 드롭아웃이 초기 학습 단계에서 가중치 증가를 유도하고 수렴 단계에서 안정화를 이끌어낸다는 것을 시사한다.
• 이 방법은 전역적 가중치 중심점을 피하므로, 장기 의존성을 모델링하는 데 필수적인 풍부하고 편향 없는 동역학을 유지한다.
• 각 데이터셋당 랜덤 서치를 32회 뿐 수행했음에도 불구하고, FD-RNN은 일관되게 낮은 테스트 손실을 기록하여 초모수 선택에 대해 뛰어난 내구성을 보였다.