[논문 리뷰] Neural Ensemble Search for Performant and Calibrated Predictions.

Sheheryar Zaidi, Arber Zela외 4명|arXiv (Cornell University)|2020. 06. 15.

Neural Networks and Applications인용 수 24

한 줄 요약

이 논문은 고정된 아키텍처 네트워크를 앙상블하는 것 대신, 다양한 아키텍처를 탐색함으로써 앙상블 성능을 직접 최적화하는 신경망 아키텍처 탐색(NAS) 프레임워크를 제안한다. 서로 다른 여러 신경망 아키텍처를 함께 탐색하고 조합함으로써, 표준 앙상블에 비해 더 높은 정확도, 분포 이탈에 대한 더 높은 강건성, 그리고 개선된 불확실성 캘리브레이션을 달성한다.

ABSTRACT

Ensembles of neural networks achieve superior performance compared to stand-alone networks not only in terms of accuracy on in-distribution data but also on data with distributional shift alongside improved uncertainty calibration. Diversity among networks in an ensemble is believed to be key for building strong ensembles, but typical approaches only ensemble different weight vectors of a fixed architecture. Instead, we investigate neural architecture search (NAS) for explicitly constructing ensembles to exploit diversity among networks of varying architectures and to achieve robustness against distributional shift. By directly optimizing ensemble performance, our methods implicitly encourage diversity among networks, without the need to explicitly define diversity. We find that the resulting ensembles are more diverse compared to ensembles composed of a fixed architecture and are therefore also more powerful. We show significant improvements in ensemble performance on image classification tasks both for in-distribution data and during distributional shift with better uncertainty calibration.

연구 동기 및 목표

• 고정된 아키텍처에 의존하고 명시적 다양성이 없는 표준 신경망 앙상블의 한계를 해결하기 위해.
• 분포 이탈 상황에서 모델의 강건성과 불확실성 캘리브레이션을 향상시키기 위해.
• NAS가 암묵적으로 다양성을 촉진하고 앙상블 성능을 향상시킬 수 있는지 탐색하기 위해.
• 명시적 다양성 정규화가 필요 없이 앙상블 수준의 성능을 직접 최적화하는 방법을 개발하기 위해.

제안 방법

• 해당 방법는 앙상블 성능을 최대화하는 데 기여하는 다각도의 신경망 아키텍처 집합을 식별하기 위해 신경망 아키텍처 탐색(NAS)을 수행한다.
• 아키텍처를 고정하고 오직 가중치만 변화시키는 것 대신, 구조적 다양성을 포함하기 위해 아키텍처 공간을 탐색하는 접근법을 취한다.
• NAS 동안 앙상블 성능을 직접 최적화함으로써, 구성 네트워크 간의 다양성이 암묵적으로 장려된다.
• 검증 데이터에서의 집합 예측 성능와 캘리브레이션을 기반으로 아키텍처를 평가하고 선택하는 과정을 거친다.
• 최종 앙상블는 서로 다른 여러 아키텍처의 예측을 조합하여 그 보완적인 강점을 활용한다.

실험 결과

연구 질문

• RQ1 NAS를 사용하여 고정 아키텍처 앙상블보다 성능이 뛰어난 앙상블를 구성할 수 있는가?
• RQ2 앙상블 성능을 직접 최적화하면 구성 네트워크 간의 다양성이 더 증가하는가?
• RQ3 제안된 앙상블 방법은 표준 앙상블에 비해 분포 이탈 상황에서 어떻게 성능을 발휘하는가?
• RQ4 이 방법은 어느 정도 불확실성 캘리브레이션을 향상시키는가?

주요 결과

• 제안된 앙상블 방법은 분포 내 및 분포 외 설정 모두에서 이미지 분류 작업에서 정확도 향상이 뚜렷하게 이루어진다.
• NAS를 통해 구성된 앙상블는 고정 아키텍처 네트워크의 표준 앙상블보다 더 높은 다양성을 보인다.
• 이 방법은 특히 분포 이탈 상황에서 더 나은 불확실성 캘리브레이션을 나타낸다.
• 성능 향상 요인은 공동 아키텍처 및 앙상블 최적화에 의해 유도된 암묵적 다양성에 기인한다.