[논문 리뷰] Dropout as data augmentation

Xavier Bouthillier, Kishore Konda외 2명|arXiv (Cornell University)|2015. 06. 29.

Machine Learning and Data Classification참고 문헌 25인용 수 97

한 줄 요약

이 논문은 드롭아웃 노이즈를 입력 공간으로 역방향으로 투영하여 데이터 증강의 한 형태로 해석하는 방법을 제안한다. 이로써 생성된 합성 훈련 샘플을 기반으로 결정론적 네트워크를 훈련시키면 표준 드롭아웃과 유사한 성능을 달성하며, 새로운 랜덤 노이즈 수준 기법은 추가적인 계산 비용 없이 일반화 성능을 향상시킨다.

ABSTRACT

Dropout is typically interpreted as bagging a large number of models sharing parameters. We show that using dropout in a network can also be interpreted as a kind of data augmentation in the input space without domain knowledge. We present an approach to projecting the dropout noise within a network back into the input space, thereby generating augmented versions of the training data, and we show that training a deterministic network on the augmented samples yields similar results. Finally, we propose a new dropout noise scheme based on our observations and show that it improves dropout results without adding significant computational cost.

연구 동기 및 목표

• 드롭아웃을 정규화 외에도 입력 공간 내에서 암시적 데이터 증강으로 재해석하고자 한다.
• 드롭아웃 노이즈를 입력 공간으로 역투영하여 합성 훈련 데이터를 생성하는 방법을 개발하고자 한다.
• 이러한 합성 샘플을 기반으로 훈련된 결정론적 네트워크가 표준 드롭아웃과 동등한 성능을 내는지 입증하고자 한다.
• 랜덤 노이즈 수준을 사용하는 새로운 드롭아웃 노이즈 기법을 제안하고, 데이터 증강의 다양성을 높이기 위해 평가하고자 한다.
• 드롭아웃의 이점이 공액적 적응 방지 외에도 암시적 데이터 커버리지 확장 때문인가를 조사하고자 한다.

제안 방법

• 재구성 오차를 최소화하기 위해 은닉층에서 발생한 드롭아웃 노이즈를 입력 공간으로 역투영하기 위해 확률적 경사 하강법을 사용한다.
• 모든 층에서 원본 활성화와 노이즈가 발생한 활성화 간의 차이를 최소화하는 다층 손실 함수를 수립한다.
• 역투영된 입력을 결정론적 네트워크의 증강 훈련 데이터로 사용한다.
• 입력층과 은닉층의 노이즈 수준을 범위에서 균일하게 샘플링하는 랜덤 노이즈 수준 기법을 도입하여 다양성을 증가시킨다.
• 증강된 데이터를 기반으로 결정론적 네트워크를 훈련하고, MNIST 및 CIFAR-10에서 성능을 평가한다.
• 표준 드롭아웃 및 다른 노이즈 기법(고정 및 변동 노이즈 수준 포함)과 결과를 비교한다.

실험 결과

연구 질문

• RQ1 도메인 특화 변환 없이 드롭아웃을 입력 공간 내에서 의미 있는 데이터 증강의 한 형태로 해석할 수 있는가?
• RQ2 드롭아웃 노이즈를 역투영하여 생성된 합성 훈련 샘플이 표준 드롭아웃과 동등한 성능을 내는가?
• RQ3 드롭아웃에 랜덤 노이즈 수준을 도입하면 고정된 노이즈 수준 대비 일반화 성능이 향상되는가?
• RQ4 새로운 노이즈 기법의 성능 향상 요인은 데이터 다양성 증가 때문인가, 아니면 정규화 향상 때문인가?
• RQ5 역투영 방법이 더 깊은 네트워크에서도 드롭아웃의 일반화 이점을 유지하는가?

주요 결과

• 드롭아웃 노이즈를 입력 공간으로 역투영하면 데이터 분포를 효과적으로 증강하는 합성 훈련 샘플을 생성할 수 있다.
• 이러한 역투영된 샘플을 기반으로 훈련된 결정론적 네트워크는 MNIST 및 CIFAR-10에서 표준 드롭아웃과 유사한 테스트 정확도를 달성한다.
• 노이즈 수준을 균일하게 샘플링하는 제안된 랜덤 노이즈 수준 기법은 다양한 아키텍처에서 분류 성능을 향상시킨다.
• 이 방법은 MNIST의 순서 불변 분류 작업에서 성능을 향상시켜 경쟁 가능한 결과를 도출한다.
• 랜덤 노이즈 수준의 향상 요인은 증강 샘플의 다양성 증가 때문이며, 이는 모델이 고정된 노이즈 분포에 적응하는 것을 방지한다.
• 결과는 드롭아웃의 일반화 이점이 공액적 적응 방지를 넘어서 암시적 데이터 증강 때문이라는 점을 시사한다.