[논문 리뷰] Blurs Behave Like Ensembles: Spatial Smoothings to Improve Accuracy, Uncertainty, and Robustness

Namuk Park, Songkuk Kim|arXiv (Cornell University)|2021. 05. 26.

Medical Imaging and Analysis인용 수 4

한 줄 요약

이 논문은 공간 평활화(spatial smoothing)를 제안한다. 이 기법은 컨볼루션 신경망의 특징 맵에 블러 레이어를 적용하여 앙상블 행동을 모방한다. 특징 맵을 안정화하고 손실 곡면을 평탄하게 함으로써, 공간 평활화는 베이지안 및 결정론적 네트워크 모두에서 정확도, 불확실성 추정, 내성에 크게 기여하며, 몇 개의 앙상블 멤버만으로도 높은 성능을 달성할 수 있게 한다.

ABSTRACT

Neural network ensembles, such as Bayesian neural networks (BNNs), have shown success in the areas of uncertainty estimation and robustness. However, a crucial challenge prohibits their use in practice. BNNs require a large number of predictions to produce reliable results, leading to a significant increase in computational cost. To alleviate this issue, we propose spatial smoothing, a method that spatially ensembles neighboring feature map points of convolutional neural networks. By simply adding a few blur layers to the models, we empirically show that spatial smoothing improves accuracy, uncertainty estimation, and robustness of BNNs across a whole range of ensemble sizes. In particular, BNNs incorporating spatial smoothing achieve high predictive performance merely with a handful of ensembles. Moreover, this method also can be applied to canonical deterministic neural networks to improve the performances. A number of evidences suggest that the improvements can be attributed to the stabilized feature maps and the smoothing of the loss landscape. In addition, we provide a fundamental explanation for prior works - namely, global average pooling, pre-activation, and ReLU6 - by addressing them as special cases of spatial smoothing. These not only enhance accuracy, but also improve uncertainty estimation and robustness by making the loss landscape smoother in the same manner as spatial smoothing. The code is available at https://github.com/xxxnell/spatial-smoothing.

연구 동기 및 목표

• 높은 계산 비용을 초래하는 베이지안 신경망(BNNs)의 문제를 해결하기 위해, 신뢰할 수 있는 성능을 확보하기 위해 큰 앙상블 크기(예: 50)가 필요하다.
• 추론 비용을 증가시키지 않고도 BNNs의 예측 성능, 불확실성 추정, 내성성을 향상시키기 위해.
• 앙상블 멤버의 수를 줄여 실세계 응용 분야에서 BNNs의 효율적 구현을 가능하게 하기 위해.
• 공간 평활화를 통해 결정론적 신경망에도 앙상블 유사 행동의 이점을 적용하기 위해.
• 기존 아키텍처 구성 요소(예: 글로벌 평균 풀링, ReLU6, 프리-액티베이션)를 공간 평활화의 특수 케이스로 통합적으로 이해하기 위해.

제안 방법

• 특징 맵에 공간 블러를 적용하는 방법으로 공간 평활화를 도입하여, 이웃한 특징 점들의 국소 앙상블을 효과적으로 생성한다.
• 특징 표현을 평활화하고 예측을 안정화하기 위해 블러 레이어를 네트워크 아키텍처에 통합한다.
• 특징 맵 활성화에 대한 베르누이 분포를 가정하지 않고도 확률적 추론을 가능하게 하는 Prob를 사용하여 공간 평활화와 통합한다.
• Prob와 블러의 조합을 통해 명시적 샘플링 없이 앙상블 평균을 근사함으로써 계산 비용을 감소시킨다.
• 공간 평활화가 베이지안 및 결정론적 네트워크 양쪽 모두에 적용 가능하며, 다양한 벤치마크에서 성능 향상을 입증한다.
• 프리-액티베이션, ReLU6, 글로벌 평균 풀링과 같은 기존 구성 요소를 공간 평활화의 특수 케이스로 재구성하여, 이들의 성공을 국소 앙상블 행동의 관점에서 설명한다.

실험 결과

연구 질문

• RQ1 공간 평활화는 베이지안 신경망에서 높은 예측 성능을 달성하기 위해 필요한 앙상블 멤버 수를 줄일 수 있는가?
• RQ2 공간 평활화는 딥 신경망에서 불확실성 추정과 내성성을 어떻게 향상시키는가?
• RQ3 특징 맵 안정화와 손실 곡면 평탄화가 공간 평활화로 인한 성능 향상에 기여하는 역할은 무엇인가?
• RQ4 공간 평활화는 결정론적 신경망에 적용되어 정확도 및 불확실성 향상에 유사한 효과를 낼 수 있는가?
• RQ5 프리-액티베이션 및 글로벌 평균 풀링과 같은 기존 아키텍처 구성 요소는 본질적으로 공간 평활화와 동일한가?

주요 결과

• 공간 평활화를 통해 베이지안 신경망은 4~8개의 앙상블 멤버만으로도 높은 예측 성능를 달성할 수 있으며, 기존의 50개 이상의 멤버가 필요한 표준 BNNs 대비 계산 비용을 크게 감소시킨다.
• 이 방법은 손상된 데이터(예: CIFAR-10-P)에서 불확실성 캘리브레이션과 내성을 향상시키며, 잘못된 예측에 대해 과신하는 경향을 줄이는 상대적 신뢰도 지표를 보인다.
• 공간 평활화는 결정론적 및 베이지안 U-Net 모델 모두에서 정확도, 불확실성, 일관성 향상을 보이며, 세그멘테이션 작업(예: CamVid 데이터셋)에서 유의미한 성능 향상을 이룬다.
• 단순 블러링만으로는 정보 손실로 인해 성능이 떨어지지만, 활성화에 대한 베르누이 분포를 모델링하는 Prob와 조합하면 성능 향상이著명하다.
• 프리-액티베이션, ReLU6, 글로벌 평균 풀링이 공간 평활화의 특수 케이스임을 입증하였으며, 이는 국소 앙상블 행동의 관점에서 이들의 성공을 설명한다.
• 공간 평활화와 이전 연구에서 제안한 시간적 평활화의 조합은 특히 데이터 스트림 환경에서 최고의 예측 및 계산 성능을 낸다.