[논문 리뷰] Notes on the Behavior of MC Dropout

Francesco Verdoja, Ville Kyrki|arXiv (Cornell University)|2020. 08. 06.

Adversarial Robustness in Machine Learning참고 문헌 16인용 수 27

한 줄 요약

이 논문은 딥 네ural 네트워크에서 불확실성 추정을 위한 몬테카를로 드롭아웃(Monte-Carlo Dropout, MCD)에 대한 이론적 및 실증적 분석을 제공하며, MCD 불확실성이 본질적으로 편향되어 있고 네트워크 출력 크기 및 드롭아웃 비율에 비례함을 밝혀냈다. 연구는 MCD 분산이 데이터 변동성보다는 아키텍처 선택—특히 드롭아웃 배치 및 비율—에 의존함을 입증하며, 신뢰할 수 있는 불확실성 추정을 위해 철저한 하이퍼파rameter 튜닝과 아키텍처 설계가 필요함을 시사한다.

ABSTRACT

Among the various options to estimate uncertainty in deep neural networks, Monte-Carlo dropout is widely popular for its simplicity and effectiveness. However the quality of the uncertainty estimated through this method varies and choices in architecture design and in training procedures have to be carefully considered and tested to obtain satisfactory results. In this paper we present a study offering a different point of view on the behavior of Monte-Carlo dropout, which enables us to observe a few interesting properties of the technique to keep in mind when considering its use for uncertainty estimation.

연구 동기 및 목표

• 단순 선형 네트워크에서 몬테카를로 드롭아웃(MCD)의 이론적 행동을 이해하고, 이를 더 깊은 비선형 모델로 확장한다.
• MCD로부터의 불확실성 추정 품질에 크게 영향을 주는 아키텍처 및 학습 선택 사항을 규명한다.
• 특히 최적의 가중치 수렴과 기대 출력의 편향에 관해 이전 이론 분석을 수정하고 확장한다.
• 복잡한 네트워크에서 출력 크기 및 드롭아웃 비율에 따른 불확실성 스케일링 이론적 발견을 실증적으로 검증한다.
• 실세계 응용에서 불확실성 캘리브레이션을 향상시키기 위해 드롭아웃 비율과 레이어 배치를 선택하는 데 도움을 주기 위한 지침을 제공한다.

제안 방법

• 이중 분포를 가진 드롭아웃 마스크를 사용하여 기대 출력과 분산을 유도하는 단일층 선형 네트워크의 이론적 분석.
• 평균 제곱오차를 최소화하는 최적의 가중치 도출. 가중치가 균일하게 수렴할 경우 기대 출력에 체계적인 편향이 있음을 보여줌.
• 드롭아웃 비율 $p_d$와 네트워크 크기 $K$로 기대 출력과 분산을 표현. 데이터 크기나 분산과는 무관하게 $p_d$와 $K$에 의존함을 드러냄.
• 알려진 진짜 불확실성을 가진 시뮬레이션 데이터셋으로 훈련된 비선형 네트워크에서의 실증 평가. 노이즈가 있는 일정 함수와 결정론적 함수 포함.
• 다양한 아키텍처 간 MCD 불확실성 비교: 최종 레이어에 편향이 있는지 여부, 다양한 드롭아웃 비율 적용.
• 입력당 300회의 순방향 전파를 사용해 평균과 표준편차 추정. 불확실성은 $\sigma$, $2\sigma$, $3\sigma$ 밴드로 시각화.

실험 결과

연구 질문

• RQ1 가중치가 균일하게 수렴할 경우 몬테카를로 드롭아웃 네트워크의 기대 출력은 참값에서 얼마나 벗어나는가?
• RQ2 선형 모델에서 MCD 분산은 드롭아웃 비율 $p_d$와 네트워크 크기 $K$에 어떻게 의존하는가?
• RQ3 왜 MCD 불확실성은 데이터 크기가 증가함에 따라 농축되지 않으며, 이는 불확실성 캘리브레이션에 어떤 영향을 미치는가?
• RQ4 최종 레이어에 편향 항목이 존재할 경우 MCD 불확실성 추정에 어떤 영향을 미치는가?
• RQ5 MCD 불확실성은 네트워크 예측 출력의 크기와 비례하여 얼마나 스케일링되는가?

주요 결과

• 선형 MCD 네트워크의 기대 출력은 참값에 대해 편향되어 있으며, 네트워크 크기 $K$가 증가할수록 이 편향이 감소한다.
• MCD 예측의 분산은 드롭아웃 비율 $p_d$와 유닛 수 $K$에 의존하지만, 훈련 샘플 수 $n$이나 데이터 분산과는 무관하다.
• 최종 선형 레이어에 편향 항목이 있을 경우, MCD는 모든 가중치 값을 0으로 이동시키고 출력을 편향에 인코딩함으로써 불확실성을 완전히 억제할 수 있으며, 이는 분산이 0이 되는 결과를 낳는다.
• 최종 레이어에 편향이 없을 경우, MCD는 입력에 관계없이 출력 크기에 따라 비례하는 일정한 불확실성을 생성하며, 이는 드롭아웃 비율 $p_d$에 의존한다.
• MCD 불확실성은 예측 출력의 크기에 비례하여 스케일링되며, 출력 크기가 크게 변동하는 작업에서는 불확실성 품질이 악화될 수 있다.
• 선형 모델에서의 이론적 통찰은 더 깊은 비선형 네트워크에서도 유지되며, 드롭아웃 비율과 레이어 배치가 불확실성 캘리브레이션에 결정적으로 영향을 미친다는 것을 확인한다.