[논문 리뷰] Deep Combinatorial Aggregation

Yuesong Shen, Daniel Cremers|arXiv (Cornell University)|2022. 10. 12.

Anomaly Detection Techniques and Applications인용 수 4

한 줄 요약

이 논문은 깊이 있는 앙상블의 조합 일반화인 딥 커비네이셔널 어그리게이션(DCA)을 소개한다. DCA는 계층적 네트워크 구성 요소 조합을 통해 다양한 모델 제안을 통합함으로써 불확실성 인식 학습을 향상시킨다. DCA는 예측 정확도와 불확실성 추정 모두에서 최신 기술 수준의 성능을 달성하였으며, 세밀한 DCA를 통해 새로운 가중치 평균화 방법(DCWA)을 개발하여 맞춤형 학습 스케줄링이나 배치 정규화 조정 없이도 SWA와 동일한 성능을 달성한다.

ABSTRACT

Neural networks are known to produce poor uncertainty estimations, and a variety of approaches have been proposed to remedy this issue. This includes deep ensemble, a simple and effective method that achieves state-of-the-art results for uncertainty-aware learning tasks. In this work, we explore a combinatorial generalization of deep ensemble called deep combinatorial aggregation (DCA). DCA creates multiple instances of network components and aggregates their combinations to produce diversified model proposals and predictions. DCA components can be defined at different levels of granularity. And we discovered that coarse-grain DCAs can outperform deep ensemble for uncertainty-aware learning both in terms of predictive performance and uncertainty estimation. For fine-grain DCAs, we discover that an average parameterization approach named deep combinatorial weight averaging (DCWA) can improve the baseline training. It is on par with stochastic weight averaging (SWA) but does not require any custom training schedule or adaptation of BatchNorm layers. Furthermore, we propose a consistency enforcing loss that helps the training of DCWA and modelwise DCA. We experiment on in-domain, distributional shift, and out-of-distribution image classification tasks, and empirically confirm the effectiveness of DCWA and DCA approaches.

연구 동기 및 목표

• 안전 중심 및 활동 학습 응용 분야에서 신경망의 열악한 불확실성 추정 문제를 해결하기 위해.
• 다양한 해상도에서 네트워크 구성 요소 조합을 탐색함으로써 딥 앙상블을 일반화하기 위해.
• 맞춤형 학습 스케줄링이나 배치 정규화 조정 없이도 일반화 성능을 향상시키는 새로운 가중치 평균화 기법(DCWA)을 개발하기 위해.
• 예측 일관성과 불확실성 校정을 향상시키기 위해 일관성 강제 손실을 도입하기 위해.
• 도메인 내, 분포 이탈, 도메인 외 이미지 분류 벤치마크에서 DCA의 경험적 검증을 수행하기 위해.

제안 방법

• DCA는 네트워크 구성 요소(예: 레이어, 블록, 또는 전체 모델)의 서로 다른 인스턴스를 조합하는 방식으로 다수의 모델 제안을 구성한다.
• 세밀한 DCA의 경우, 반복적 학습이나 학습률 스케줄링 없이 구성 요소 인스턴스 간 모델 가중치 평균을 계산하는 딥 커비네이셔널 웨이트 어웨리징(DCWA)을 도입한다.
• 일관성 강제 손실은 DCA 학습 중에 적용되어 모델 제안 간의 일치도를 향상시켜 정확도와 불확실성 校정을 모두 향상시킨다.
• DCA는 각 미니배치당 랜덤으로 샘플된 다수의 구성 요소 제안에 대해 기울기를 누적시키는 수정된 역전파 기법을 사용하여 공동 최적화를 보장한다.
• 이 방법은 레이어 수준, 트렁크 수준, 모델 수준의 다수의 해상도를 지원하며, 각각 다양성과 성능 간의 다른 트레이드오���스를 제공한다.
• DCWA는 표준 크로스 엔트로피 또는 음의 로그우도 손실과 함께 엔드 투 엔드로 학습되며, 앙상블 추론 없이 단일 모델로도 배포 가능하다.

실험 결과

연구 질문

• RQ1 딥 앙상블의 조합 일반화가 표준 딥 앙상블을 초월하여 불확실성 추정을 향상시킬 수 있는가?
• RQ2 DCWA를 사용한 세밀한 DCA가 맞춤형 학습 스케줄링 없이도 스위치드 웨이트 어웨리징(SWA)과 동등한 성능을 낼 수 있는가?
• RQ3 일관성 강제 손실이 DCA 모델의 예측 및 불확실성 校정 성능에 어떤 영향을 미치는가?
• RQ4 粗 granularity DCA 변형(예: 모델 수준 DCA)이 도메인 내, 분포 이탈, 도메인 외 시나리오에서 딥 앙상블을 초월할 수 있는가?
• RQ5 DCA 구성 요소 인스턴스의 수가 모델 성능과 계산 비용에 어떤 영향을 미치는가?

주요 결과

• 모델 수준 DCA는 CIFAR-10에서 최고의 정확도(94.95% ± 0.0008)와 가장 낮은 NLL(0.1601 ± 0.0006)을 기록하여, 딥 앙상블과 SWA를 포함한 모든 베이스라인을 초월했다.
• 음의 로그우도 손실을 사용한 DCWA는 93.14% ± 0.0017 정확도와 0.0365 ± 0.0014 ECE를 기록하여 강력한 불확실성 校정 성능를 보였다.
• 일관성 강제 손실은 모델 수준 DCA의 불확실성 추정을 향상시켜, 손실을 적용한 경우 ECE를 0.0107 ± 0.0004에서 0.0084 ± 0.0009로 감소시켰다.
• 트렁크 수준 DCA는 딥 앙상블보다 더 다양한 예측을 생성하면서도 경쟁 가능한 성능(94.54% ± 0.0008 정확도, 0.0080 ± 0.0011 ECE)을 유지했다.
• DCA 구성 요소 인스턴스 수를 2개에서 5개로 증가시킴에 따라 정확도와 NLL에서 일관된 향상이 관찰되어, 계산 비용과 성능 간 유리한 트레이드오���스를 보였다.
• DCWA는 SWA의 성능을 재현했지만, 학습률 스케줄링이나 배치 정규화 적응이 필요 없어 구현 및 배포가 더 용이했다.