[논문 리뷰] DropConnect Is Effective in Modeling Uncertainty of Bayesian Deep Networks

Aryan Mobiny, Hien Van Nguyen외 3명|arXiv (Cornell University)|2019. 06. 07.

Adversarial Robustness in Machine Learning인용 수 10

한 줄 요약

이 논문은 깊이 신경망에서 베이지안 추론을 근사하기 위한 계산적으로 효율적인 방법인 MC-DropConnect를 제안한다. 이 방법은 네트워크 가중치에 베르누이 드롭아웃을 적용함으로써 추가 파라미터나 학습 비용 없이 정확한 불확실성 추정을 가능하게 한다. 이미지 분류 및 세그멘테이션 작업 전반에서 예측 정확도와 불확실성 캘리브레이션을 크게 향상시키며, MC-Dropout를 능가하고 불확실성 인식 딥 러닝의 새로운 벤치마크를 설정한다.

ABSTRACT

Deep neural networks (DNNs) have achieved state-of-the-art performances in many important domains, including medical diagnosis, security, and autonomous driving. In these domains where safety is highly critical, an erroneous decision can result in serious consequences. While a perfect prediction accuracy is not always achievable, recent work on Bayesian deep networks shows that it is possible to know when DNNs are more likely to make mistakes. Knowing what DNNs do not know is desirable to increase the safety of deep learning technology in sensitive applications. Bayesian neural networks attempt to address this challenge. However, traditional approaches are computationally intractable and do not scale well to large, complex neural network architectures. In this paper, we develop a theoretical framework to approximate Bayesian inference for DNNs by imposing a Bernoulli distribution on the model weights. This method, called MC-DropConnect, gives us a tool to represent the model uncertainty with little change in the overall model structure or computational cost. We extensively validate the proposed algorithm on multiple network architectures and datasets for classification and semantic segmentation tasks. We also propose new metrics to quantify the uncertainty estimates. This enables an objective comparison between MC-DropConnect and prior approaches. Our empirical results demonstrate that the proposed framework yields significant improvement in both prediction accuracy and uncertainty estimation quality compared to the state of the art.

연구 동기 및 목표

• 의료 진단 및 자율 주행과 같은 안전 중심 응용 분야에서 딥 뉴럴 네트워크의 모델 불확실성 추정 문제를 해결한다.
• 정확한 사후 추론의 비가역성 문제를 피하면서도 확장 가능하고 계산적으로 타당한 베이지안 신경망의 근사 방법을 개발한다.
• 기존 모델 구조를 활용하여 모델 복잡성이나 추론 비용을 증가시키지 않고도 불확실성 추정을 추출하는 방법을 제안한다.
• 다양한 베이지안 딥 러닝 프레임워크 간의 불확실성 추정 성능을 객관적으로 평가하고 비교하기 위한 새로운 지표를 제안한다.
• 실제 AI 시스템에서 불확실성 인식 예측이 신뢰할 수 없는 예측을 식별함으로써 의사결정을 향상시킬 수 있음을 입증한다.

제안 방법

• 딥 뉴럴 네트워크의 가중치에 직접적으로 베르누이 분포를 적용하여 사후 불확실성을 모델링하고, 몬테카를로 샘플링을 통해 근사 베이지안 추론을 가능하게 한다.
• 스토캐스틱 드롭아웃에 대한 몬테카를로 샘플링을 사용하여 예측 분포를 추정하고, 네트워크 아키텍처를 수정하지 않고도 모델 불확실성을 정량화한다.
• 베르누이 가중치 기반 추론 하에서 기대 출력과 분산에 대한 해석적 표현을 유도하여 추론 시 효율적인 불확실성 정량화를 가능하게 한다.
• 분류 및 세그멘테이션 작업을 위한 최신 모델인 ResNet, ENet, V-Net에 MC-DropConnect를 통합한다.
• 세그멘테이션 모델의 공간 드롭아웃 레이어를 표준 드롭아웃 및 드롭컨넥트 레이어로 대체하여 3D 볼륨 데이터에서의 불확실성 추정을 가능하게 한다.
• 신뢰도 기반 정확도 지표를 도입하여 신뢰도 백분위수별로 픽셀 수준 정확도를 평가함으로써 불확실성 품질 간 객관적 비교를 가능하게 한다.

실험 결과

연구 질문

• RQ1 가중치 수준의 단순한 베르누이 드롭아웃 메커니즘이 최소한의 계산 오버헤드로 깊이 신경망에서 베이지안 사후 추론을 효과적으로 근사할 수 있는가?
• RQ2 다양한 작업과 아키텍처에서 MC-DropConnect는 MC-Dropout에 비해 불확실성 추정 품질과 예측 정확도 측면에서 어떻게 비교되는가?
• RQ3 모델 불확실성은 특히 희귀 클래스나 모호한 입력에서 예측 정확성과 얼마나 관련이 깊은가?
• RQ4 MC-DropConnect에서 유도된 불확실성 추정치를 사용하여 낮은 신뢰도 예측을 걸러내어 시스템 신뢰도를 향상시킬 수 있는가?
• RQ5 불확실성 맵은 클래스 경계, 희귀 클래스 또는 시각적으로 유사한 물체 카테고리와 같은 알려진 모호성 원인을 어떻게 반영하는가?

주요 결과

• CT-Organ 데이터셋에서 MC-DropConnect는 모델 신뢰도의 90번째 백분위수에서 픽셀 수준 세그멘테이션 정확도를 최대 99.99% 향상시켰으며, 이는 불확실성과 예측 신뢰성 간 강한 상관관계를 시사한다.
• CityScapes 데이터셋에서 MC-DropConnect는 가장 확신도가 높은 90% 예측에 대해 99.32%의 정확도를 달성하여 불확실성 추정치의 높은 캘리브레이션을 입증했다.
• 모든 평가된 데이터셋과 아키텍처에서 MC-DropConnect는 불확실성 추정 품질과 예측 정확도 측면에서 MC-Dropout를 능가한다.
• MC-DropConnect에서 희귀 클래스(예: CamVid에서의 기둥, 신호 표지판)와 모호한 물체 쌍(예: 자전거 vs. 보행자)에 대해 항상 높은 불확실성 추정치를 보이며 실제 예측 난이도를 반영한다.
• 물체 경계나 레이블링이 모호한 영역에서는 모델이 더 높은 불확실성 표시를 보이며, 이는 불확실성 맵이 의미 있는 불확실성 패턴을 포착하고 있음을 확인한다.
• 제안된 신뢰도 기반 정확도 지표는 높은 신뢰도를 가진 예측이 매우 정확함을 보여주며, 이는 불확실성 추정치가 모델의 신뢰도를 신뢰할 만한 척도로 기능함을 검증한다.