[논문 리뷰] NADS: Neural Architecture Distribution Search for Uncertainty Awareness

Randy Ardywibowo, Shahin Boluki외 3명|arXiv (Cornell University)|2020. 06. 11.

Adversarial Robustness in Machine Learning인용 수 10

한 줄 요약

NADS는 WAIC 점수 최대화를 통한 아키텍처 분포 학습을 통해 불확실성 인식 모델 아키텍처를 최적화하는 새로운 신경망 아키텍처 분포 탐색 프레임워크를 제안한다. 이는 OoD 탐지 성능을 향상시키며, OoD 학습 데이터가 없이도 15개의 OoD 탐지 설정에서 최신 기술 대비 최대 57% 높은 정확도를 달성한다.

ABSTRACT

Machine learning (ML) systems often encounter Out-of-Distribution (OoD) errors when dealing with testing data coming from a distribution different from training data. It becomes important for ML systems in critical applications to accurately quantify its predictive uncertainty and screen out these anomalous inputs. However, existing OoD detection approaches are prone to errors and even sometimes assign higher likelihoods to OoD samples. Unlike standard learning tasks, there is currently no well established guiding principle for designing OoD detection architectures that can accurately quantify uncertainty. To address these problems, we first seek to identify guiding principles for designing uncertainty-aware architectures, by proposing Neural Architecture Distribution Search (NADS). NADS searches for a distribution of architectures that perform well on a given task, allowing us to identify common building blocks among all uncertainty-aware architectures. With this formulation, we are able to optimize a stochastic OoD detection objective and construct an ensemble of models to perform OoD detection. We perform multiple OoD detection experiments and observe that our NADS performs favorably, with up to 57% improvement in accuracy compared to state-of-the-art methods among 15 different testing configurations.

연구 동기 및 목표

• OoD 탐지에서 불확실성 정량화를 위한 체계적인 아키텍처 설계의 부족을 해결하기 위해.
• 기존 NAS의 한계를 극복하기 위해, 정확도가 아닌 불확실성 인식을 최적화하는 데 초점을 맞춘다.
• 예측 불확실성을 안정적으로 추정할 수 있는 아키텍처의 분포를 식별하는 탐색 방법을 개발하기 위해.
• OoD 오분류에 대해 강건한 것으로 알려진 베이지안 기반의 페널티가 부과된 우도 점수인 WAIC를 최적화하여 OoD 탐지 성능을 향상시키기 위해.
• 학습된 아키텍처 분포에서 베이지안 앙상블을 구성하여 향상된 불확실성 추정 성능을 달성하기 위해.

제안 방법

• NADS는 단일 아키텍처가 아닌 아키텍처 분포 위에서의 확률적 최적화 문제로 아키텍처 탐색을 공식화한다.
• DARTS 방식의 연속적 근사 기법을 활용해 이산 아키텍처 탐색 공간을 연속화하고, 파rameterized 아키텍처 분포를 정의한다.
• 탐색 목적은 예측 정확도의 베이지안 추정인 광범위하게 적용 가능한 정보 기준(WAIC)을 최대화하는 것으로, 과적합을 억제하고 불확실성 캘리브레이션을 향상시킨다.
• Glow(Kingma & Dhariwal, 2018)에 영감을 받은 새로운 생성 탐색 공간이 다양한 불확실성 인식 아키텍처의 효율적 샘플링과 파rameterization을 가능하게 한다.
• 학습된 사후 아키텍처 분포를 기반으로 WAIC 기반 점수를 활용해 OoD 탐지용 베이지안 앙상블을 구성한다.
• 아키텍처 간 가중치 공유를 통해 효율적인 학습과 추론을 구현하여 계산 비용을 줄이면서도 높은 성능을 유지한다.

실험 결과

연구 질문

• RQ1 불확실성 인식 OoD 탐지에서 성능이 우수한 모델에 일관되게 포함되는 아키텍처 구성 요소는 무엇인가?
• RQ2 우도 대신 WAIC를 최적화하는 것이 OoD 탐지 성능과 불확실성 캘리브레이션을 향상시키는가?
• RQ3 단일 아키텍처가 아닌 아키텍처의 분포를 학습하는 것이 더 나은 불확실성 정량화와 OoD 탐지 성능을 이끌어내는가?
• RQ4 NADS는 OoD 데이터를 학습 중에 사용하는 기존 OoD 탐지 방법(예: Outlier Exposure)과 비교해 어떻게 성능을 냈는가?
• RQ5 OoD 학습 데이터에 접근할 수 없는 NAS 기반 접근법이 최신 기술 수준의 OoD 탐지 성능을 달성할 수 있는가?

주요 결과

• NADS는 15개의 인-디스트리뷰션 및 아웃-오브-디스트리뷰션 데이터 쌍 조합에서 최신 기술 대비 최대 57% 높은 OoD 탐지 정확도를 달성한다.
• 기본 모델인 MSP와 ODIN에 비해 특히 저주파수 이상 탐지에서 뚜렷한 성능 향상을 보이며, 일관되게 높은 AUPR 점수로 이를 입증한다.
• 학습 중 OoD 샘플을 전혀 사용하지 않았음에도 불구하고, OoD 데이터를 사용하는 Outlier Exposure(OE)와 유사한 성능을 보인다.
• 학습된 아키텍처 분포는 핵심 설계 원칙을 드러낸다: 단순한 얕은 레이어, 정보 유지 연산, 안정성을 높이는 깊고 표현력 있는 스킵 연결 구조.
• 아키텍처 분포에서 유도된 베이지안 앙상블은 다양한 OoD 데이터셋에서 불확실성 추정과 강건성을 향상시킨다.
• ODIN과 달리 NADS는 다양한 OoD 분포에서 안정적인 성능을 보이며, 다양한 데이터셋에서 일관성 없는 성능을 보이지 않는다.