[논문 리뷰] Loss Surface Simplexes for Mode Connecting Volumes and Fast Ensembling

Gregory W. Benton, Wesley J. Maddox외 2명|arXiv (Cornell University)|2021. 02. 25.

Model Reduction and Neural Networks참고 문헌 26인용 수 5

한 줄 요약

이 논문은 깊이 있는 신경망 손실 곡면에서 저손실 솔루션의 다차원 단체 복합체를 발견하기 위해 단순점별 랜덤 최적화(Simplicial Pointwise Random Optimization, SPRO)를 제안한다. 이를 통해 사전 훈련된 모델에서 몇 번의 훈련 에포크만으로도 빠른 앙상블을 구현할 수 있는 통합 SPRO(Ensembled SPRO, ESPRO)를 가능하게 한다. ESPRO는 정확도, 캘리브레이션, 데이터셋 이탈에 대한 강건성에서 딥 앙상블을 능가하며, 기하학적으로 정의된 단체 내에서 다양하고 저손실의 모델을 효율적으로 샘플링함으로써 이를 달성한다.

ABSTRACT

With a better understanding of the loss surfaces for multilayer networks, we can build more robust and accurate training procedures. Recently it was discovered that independently trained SGD solutions can be connected along one-dimensional paths of near-constant training loss. In this paper, we show that there are mode-connecting simplicial complexes that form multi-dimensional manifolds of low loss, connecting many independently trained models. Inspired by this discovery, we show how to efficiently build simplicial complexes for fast ensembling, outperforming independently trained deep ensembles in accuracy, calibration, and robustness to dataset shift. Notably, our approach only requires a few training epochs to discover a low-loss simplex, starting from a pre-trained solution. Code is available at https://github.com/g-benton/loss-surface-simplexes.

연구 동기 및 목표

• 고립된 최소점이나 1차원 연결 경로를 초월하여 깊이 있는 신경망 손실 표면의 기하학적 구조를 이해하기 위해.
• 여러 개별적으로 훈련된 모델을 연결하는 다차원 다각형(단체 복합체) 형태의 저손실 해를 식별하기 위해.
• 사전 훈련된 모델에서 시작하여 이러한 저손실 단체 복합체를 효율적으로 발견하는 방법을 개발하기 위해.
• 발견된 기하학적 구조를 활용하여 더 빠르고 정확도가 높은 앙상블 방법을 만들고, 불확실성 캘리브레이션을 향상시키기 위해.
• 이러한 샘플링이 딥 앙상블 및 베이지안 기반 방법과 비교해 최신 기술 수준의 성능을 달성할 수 있음을 입증하기 위해.

제안 방법

• SPRO는 사전 훈련된 모델 주변의 매개변수 공간에서 저손실 점을 찾는 방식으로 반복적으로 단체 복합체를 구성하는 스토케스틱 최적화 방법으로 제안된다.
• 이 방법은 무작위 보행과 손실 평가를 활용하여, 볼록 조합 내 모든 점에서 균일하게 저손실을 유지하는 정점들을 식별한다.
• 단체 복합체는 경계를 이루는 정점들로 정의되며, 이를 통해 단체의 차원수와 부피를 직접 계산할 수 있다.
• ESPRO는 발견된 단체 내에서 균일하게 모델 매개변수를 샘플링하여 앙상블을 생성함으로써 다양성과 저손실을 보장한다.
• 이 방법은 딥 앙상블의 즉각적인 대체로 설계되었으며, 사전 훈련 후 몇 번의 추가 훈련 에포크만 필요로 한다.
• 불확실성 정량화는 단체 내에서의 예측 분포를 통해 수행되며, 단체 전체에 균일한 사전 분포를 가정한 베이지안 모델 평균과 유사하게 근사한다.

실험 결과

연구 질문

• RQ1 손실 곡면에 여러 개별적으로 훈련된 모델을 하나의 저손실 영역을 통해 연결하는 다차원 다각형 구조가 존재하는가?
• RQ2 실제 훈련 시간 내에서 이러한 고차원, 저손실 단체 복합체를 효율적으로 발견할 수 있는가?
• RQ3 이러한 기하학적 구조 내에서 샘플링이 표준 딥 앙샘블보다 더 나은 일반화 및 불확실성 캘리브레이션을 이끌 수 있는가?
• RQ4 단체 샘플링을 통해 형성된 앙상블의 성능은 데이터셋 이탈 상황에서 최신 베이지안 및 앙샘블 방법과 비교해 어떻게 되는가?
• RQ5 손실 곡면의 기하학적 구조를 활용하여 추가 훈련 없이도 모델의 캘리브레이션과 강건성을 향상시킬 수 있는가?

주요 결과

• 깊이 있는 신경망의 손실 곡면에는 임의로 많은 수의 개별적으로 훈련된 모델을 연결하는 큰 다차원 단체 복합체 형태의 저손실 영역이 존재하며, 이는 고립된 최소점이나 1차원 연결 경로라는 기존의 시각에 도전한다.
• SPRO는 사전 훈련된 모델에서 시작하여 몇 번의 훈련 에포크 내에 이러한 저손실 단체 복합체를 성공적으로 발견함으로써, 신속하고 확장 가능한 탐색이 가능해졌다.
• ESPRO 앙상블은 발견된 단체 내에서 샘플링하여 형성되며, CIFAR-10에서 가우시안 노이즈 손상 조건을 포함한 다양한 벤치마크에서 표준 딥 앙샘블보다 높은 정확도를 달성했다.
• ESPRO는 더 낮은 기대 캘리브레이션 오차(ECE)와 음의 로그 가능성(NLL)을 보이며, 온도 스케일링 이후 MultiSWAG 및 MultiSWA를 능가하는 뛰어난 캘리브레이션 성능을 보였다.
• 정성적 회귀 과제에서는, 특히 데이터가 누락된 영역에서 딥 앙샘블 및 Izmailov 등(2019)의 최신 부분공간 방법보다 더 잘 캘리브레이션된 불확실성 밴드를 생성했다.
• 다양한 데이터셋 이탈 시나리오에서도 뛰어난 성능을 유지하여, 분포 이탈이 흔한 실세계 환경에서의 도입 가능성을 확인했다.