[논문 리뷰] Contextual Dropout: An Efficient Sample-Dependent Dropout Module

Xinjie Fan, Shujian Zhang외 3명|arXiv (Cornell University)|2021. 03. 06.

Data Stream Mining Techniques참고 문헌 51인용 수 11

한 줄 요약

이 논문은 깊이 있는 신경망에서 최소한의 계산 오버헤드로 예측 불확실성 추정과 정확도를 향상시키기 위해 입력에 따라 달라지는 드롭아웃 비율을 학습하는 샘플 의존적 드롭아웃 모듈인 컨텍스트 드롭아웃을 제안한다. 이는 표준 드롭아웃 및 변동형 드롭아웃보다 이미지 분류 및 시각적 질의 응답 작업에서 뛰어난 성능을 보이며, 특히 노이즈가 있는 조건에서 두각을 나타낸다.

ABSTRACT

Dropout has been demonstrated as a simple and effective module to not only regularize the training process of deep neural networks, but also provide the uncertainty estimation for prediction. However, the quality of uncertainty estimation is highly dependent on the dropout probabilities. Most current models use the same dropout distributions across all data samples due to its simplicity. Despite the potential gains in the flexibility of modeling uncertainty, sample-dependent dropout, on the other hand, is less explored as it often encounters scalability issues or involves non-trivial model changes. In this paper, we propose contextual dropout with an efficient structural design as a simple and scalable sample-dependent dropout module, which can be applied to a wide range of models at the expense of only slightly increased memory and computational cost. We learn the dropout probabilities with a variational objective, compatible with both Bernoulli dropout and Gaussian dropout. We apply the contextual dropout module to various models with applications to image classification and visual question answering and demonstrate the scalability of the method with large-scale datasets, such as ImageNet and VQA 2.0. Our experimental results show that the proposed method outperforms baseline methods in terms of both accuracy and quality of uncertainty estimation.

연구 동기 및 목표

• 고정된, 데이터에 의존하지 않는 드롭아웃 확률의 한계를 해결하기 위해, 이는 예측 불확실성 추정의 품질을 제한한다.
• 모델 복잡성 또는 추론 비용의 급격한 증가 없이도 유연하고 샘플별로 특화된 드롭아웃 비율을 가능하게 하기 위해.
• 다양한 신경망 레이어와 드롭아웃 유형(Bernoulli 및 Gaussian)과 호환되는 확장 가능하고 일반적인 목적의 드롭아웃 모듈을 개발하기 위해.
• 실제 대규모 응용 분야인 ImageNet 및 VQA 2.0와 같은 환경에서 예측 정확도와 불확실성 校정(uncertainty calibration)을 모두 향상시키기 위해.

제안 방법

• 입력 특징에 따라 드롭아웃 비율을 매개변수화하는 컨텍스트 드롭아웃 모듈을 제안하며, 이를 위해 공유된 인코더-디코더 아키텍처를 사용한다.
• 입력 의존적 드롭아웃 분포를 학습하기 위해 변동형 추론 목적 함수를 활용하여 엔드 투 엔드 학습이 가능하도록 한다.
• 주요 네트워크의 파라미터를 재사용하여 드롭아웃 비율을 생성함으로써 추가 메모리 및 계산 비용을 최소화한다.
• 완전 연결, 합성곱, 자기어텐션 레이어에 모두 적용하여 광범위한 호환성을 확보한다.
• 통합된 매개변수화 프레임워크를 통해 Bernoulli 및 Gaussian 드롭아웃 유형을 모두 지원한다.
• 후행 기대값을 근사하기 위해 몬테카를로 샘플링을 사용하여 학습함으로써 계산 효율성을 유지한다.

실험 결과

연구 질문

• RQ1 고정된, 데이터에 의존하지 않는 드롭아웃 대비 샘플 의존적 드롭아웃이 불확실성 추정과 모델 정확도 향상에 기여하는가?
• RQ2 기하급수적인 계산 비용이나 메모리 비용 증가 없이 입력에 따라 달라지는 드롭아웃 비율을 학습하는 것이 가능한가?
• RQ3 컨텍스트 드롭아웃은 ImageNet 및 VQA 2.0와 같은 대규모 데이터셋에서 표준 조건과 노이즈가 있는 조건에서 어떻게 성능을 내는가?
• RQ4 제안된 모듈은 다양한 신경망 아키텍처와 레이어 유형에 일반화되는가?
• RQ5 컨텍스트 드롭아웃은 성능 향상을 가져올 수 있도록 사전 학습된 모델을 미세조정하는 데 사용될 수 있는가?

주요 결과

• ImageNet 데이터셋에서 컨텍스트 드롭아웃은 사전 학습된 모델의 미세조정 성능을 향상시켜 전이 학습에서의 유용성을 입증했다.
• 원본 VQA 2.0 데이터셋에서 컨텍스트 드롭아웃은 67.42%의 정확도와 71.65 PAvPU를 기록하여 모든 기준 모델을 초월했다.
• 가우시안 노이즈(σ=5)가 추가된 노이즈 있는 VQA 데이터에서 컨텍스트 드롭아웃은 63.73%의 정확도와 68.57 PAvPU를 기록하여 표준 드롭아웃 방법보다 뚜렷이 뛰어난 성능을 보였다.
• 예측 불확실성 추정 측면에서 일관된 향상이 있었으며, 잘못된 출력에서는 더 경계를 두고 예측하고, 올바른 출력에서는 더 자신감 있는 예측을 하였다.
• 컨텍스트 드롭아웃의 계산 및 메모리 오버헤드는 매우 미미하여 대규모 모델과 데이터셋으로의 확장성 확보에 유리했다.
• 시각화 결과는 컨텍스트 드롭아웃이 특히 모호하거나 복잡한 질문 유형에서 인간 애너테이션 패턴과 더 잘 일치함을 확인했다.