[논문 리뷰] Efficient variational Bayesian neural network ensembles for outlier detection

Nick Pawlowski, Miguel Jaques외 1명|arXiv (Cornell University)|2017. 03. 20.

Anomaly Detection Techniques and Applications인용 수 5

한 줄 요약

이 논문은 훈련 중에 무작위 미분 랭글레인 역동성(SGLD)을 사용하여 가중치를 샘플링함으로써, 최소한의 메모리로 온라인으로 변분 사후분포를 추정할 수 있는 효율적인 변분 베이지안 신경망 앙상블 방법을 제안한다. 이 방법은 분류 성능에서 Dropout-MC와 유사한 성능을 보이며, 표준 분류 과제에서는 이를 능가하지만, 변분 근사에서 가중치 분산이 낮기 때문에 더 큰 앙상블 크기로는 향상되지 않는다.

ABSTRACT

In this work we perform outlier detection using ensembles of neural networks obtained by variational approximation of the posterior in a Bayesian neural network setting. The variational parameters are obtained by sampling from the true posterior by gradient descent. We show our outlier detection results are comparable to those obtained using other efficient ensembling methods.

연구 동기 및 목표

• 이상치 탐지에 적합한 메모리 효율적인 베이지안 신경망 앙상블을 개발하는 것.
• 모든 샘플을 저장하지 않고도 훈련 중에 가중치 분포의 사후분포를 온라인으로 추정할 수 있도록 하는 것.
• 단일 네트워크 훈련 런만으로도 경쟁적인 불확실성 추정 및 이상치 탐지 성능를 달성하는 것.
• 기존의 앙상블 기법인 Dropout-MC 및 표준 앙상블과의 성능 비교를 수행하는 것.
• 불확실성 정량화를 지원하면서도 저비용의 계산 및 메모리 비용을 유지를 보장하는 방법의 성능을 입증하는 것.

제안 방법

• 방법은 훈련 경로를 따라 가중치 샘플을 생성하기 위해 무작위 미분 랭글레인 역동성(SGLD)을 사용하며, 이를 비정규화된 사후분포에서의 추출로 간주한다.
• 실시간으로 가중치 샘플의 평균과 분산을 계산하기 위해 웰포트의 누적 알고리즘을 적용하여 변분 사후분포 매개변수의 온라인 추정을 가능하게 한다.
• 변분 근사는 네트워크 가중치 위에 정규 분포를 가정하며, 비편향 몬테카를로 추정치를 사용해 점진적으로 갱신되는 매개변수를 갖는다.
• 테스트 시점에 학습된 변분 사후분포에서 여러 개의 네트워크를 샘플링하여 예측 및 불확실성 추정을 위한 앙상블을 구성한다.
• 이상치 탐지는 각 앙상블 구성원의 예측과 앙상블 평균 간의 KL 발산 합으로 정의된 불일치도를 사용하며, 훈련 세트 통계치를 기반으로 임계값을 설정한다.
• 적응형 옵timizer(예: Adam)와의 호환성을 위해 적응형 학습률에 비례한 노이즈를 주입함으로써 표준 옵timizer를 사용한 실용적 훈련이 가능하다.

실험 결과

연구 질문

• RQ1 훈련 중에 온라인 가중치 샘플링을 사용함으로써 저비용의 계산 및 메모리 오버헤드를 갖는 베이지안 신경망 앙상블을 구축할 수 있는가?
• RQ2 제안된 방법의 성능는 분류 정확도 및 이상치 탐지 측면에서 Dropout-MC 및 표준 앙상블과 비교해 어떻게 되는가?
• RQ3 SGLD 샘플에서 유도된 변분 근사는 효과적인 이상치 탐지에 필요한 충분한 불확실성 추정치를 제공하는가?
• RQ4 더 많은 네트워크를 샘플링할 수 있음에도 불구하고, 성능 향상이 이루어지지 않는 이유는 무엇인가?
• RQ5 적응형 옵티마이저(예: Adam)와 효과적으로 조합될 수 있으며, 샘플링의 타당성은 유지되는가?

주요 결과

• 제안된 방법은 MNIST에서 10개의 앙상블 구성요소로 76.1%의 분류 정확도를 달성하였으며, 이는 Dropout-MC(72.9%)를 능가하지만 표준 앙상블(87.0%)에는 못 미친다.
• 모든 방법에서 이상치 탐지의 재현율은 높았지만, 제안된 방법과 Dropout-MC 모두 정밀도가 낮아 고율의 거짓 양성률을 보였다.
• 제안된 방법의 불일치도 점수는 10^-3에서 10^-2 수준이며, 이는 Dropout-MC(10^-1에서 10^0 수준)보다 훨씬 낮아, 낮은 가중치 분산을 가진 밀도 높은 변분 근사를 의미한다.
• 변분 사후분포가 매우 좁게 집중되어 있어, 더 큰 앙상블 크기로도 성능 향상이 이루어지지 않는다.
• 이상치 탐지 정밀도에서는 Dropout-MC보다 약간 열등하지만, 표준 분류 정확도에서는 더 우수하여, 불확실성 캘리브레이션과 예측 성능 사이의 상충 관계가 존재함을 시사한다.
• Adam 기반 SGLD 근사에 대한 추가 실험 결과는 일관된 성능을 보였으며, 방법의 표준 훈련 파이프라인에 대한 적응 가능성은 검증되었다.