[논문 리뷰] Fraternal Dropout

Konrad Żołna, Devansh Arpit외 2명|arXiv (Cornell University)|2017. 10. 31.

Topic Modeling참고 문헌 13인용 수 8

한 줄 요약

이 논문은 순환 신경망(RNN)을 위한 새로운 정규화 기법인 형제 드롭아웃(fraternal dropout)을 소개한다. 이 기법은 동일한 가중치를 공유하는 두 개의 동일한 RNN을 서로 다른 드롭아웃 마스크를 사용하여 훈련하면서, 사전-소프트맥스 예측값의 차이를 최소화한다. 이 방법은 드롭아웃 변동에 대한 강건성을 향상시키며, 펜 트리뱅크와 위키텍스트-2를 포함한 시퀀스 모델링 작업에서 최신 기술 수준의 성능을 달성한다. 또한 이미지 캡션 생성과 준지도 학습 과제에서 뚜렷한 성능 향상을 이룬다.

ABSTRACT

Recurrent neural networks (RNNs) are important class of architectures among neural networks useful for language modeling and sequential prediction. However, optimizing RNNs is known to be harder compared to feed-forward neural networks. A number of techniques have been proposed in literature to address this problem. In this paper we propose a simple technique called fraternal dropout that takes advantage of dropout to achieve this goal. Specifically, we propose to train two identical copies of an RNN (that share parameters) with different dropout masks while minimizing the difference between their (pre-softmax) predictions. In this way our regularization encourages the representations of RNNs to be invariant to dropout mask, thus being robust. We show that our regularization term is upper bounded by the expectation-linear dropout objective which has been shown to address the gap due to the difference between the train and inference phases of dropout. We evaluate our model and achieve state-of-the-art results in sequence modeling tasks on two benchmark datasets - Penn Treebank and Wikitext-2. We also show that our approach leads to performance improvement by a significant margin in image captioning (Microsoft COCO) and semi-supervised (CIFAR-10) tasks.

연구 동기 및 목표

• 피드포워드 네트워크에 비해 순환 신경망(RNN)을 최적화하는 데 어려움을 해결하기 위해.
• 드롭아웃 기반 정규화에서 훈련 단계와 추론 단계 간의 격차를 줄이기 위해.
• 다양한 드롭아웃 마스크 하에서 동일한 표현을 유도함으로써 RNN의 일반화 능력과 강건성을 향상시키기 위해.
• 표준 시퀀스 모델링 벤치마크와 전이 과제에서 최신 기술 수준의 성능을 달성하기 위해.

제안 방법

• 훈련 중에 동일한 파라미터를 공유하지만 서로 다른 드롭아웃 마스크를 사용하는 두 개의 동일한 RNN을 훈련한다.
• 두 RNN의 사전-소프트맥스 예측값 간의 L2 차이를 최소화하여 강건성을 유도한다.
• 기대선형 드롭아웃 목표 함수를 상한으로 제약 조건으로 설정하여 정규화를 공식화한다.
• 수득된 손실을 활용해 훈련을 안정화하고 훈련과 추론 간 격차를 줄인다.
• 언어 모델링, 이미지 캡션 생성, 준지도 학습 과제에 이 방법을 적용한다.

실험 결과

연구 질문

• RQ1 서로 다른 드롭아웃 마스크를 사용하여 동일한 RNN 두 개를 훈련하는 것이 일반화 능력과 강건성을 향상시킬 수 있는가?
• RQ2 이 접근 방식은 드롭아웃 기반 모델에서 훈련과 추론 간 격차를 줄일 수 있는가?
• RQ3 형제 드롭아웃은 시퀀스 모델링 벤치마크에서 최신 기술 수준의 성능을 달성할 수 있는가?
• RQ4 이 방법은 언어 과제 외의 과제, 예를 들어 이미지 캡션 생성과 준지도 학습과 같은 과제로 일반화될 수 있는가?

주요 결과

• 형제 드롭아웃은 펜 트리뱅크와 위키텍스트-2 언어 모델링 벤치마크에서 최신 기술 수준의 성능을 달성한다.
• 이 방법은 마이크로소프트 COCO 이미지 캡션 생성 과제에서 성능을 크게 향상시킨다.
• CIFAR-10에서 준지도 학습 과제에서 상당한 성능 향상을 이룬다.
• 정규화 항은 기대선형 드롭아웃 목표 함수의 상한으로 제약되며, 이는 이론적 안정성을 보장한다.