[논문 리뷰] Estimating Model Uncertainty of Neural Networks in Sparse Information Form

Jong‐Seok Lee, Matthias Humt외 2명|arXiv (Cornell University)|2020. 06. 20.

Sparse and Compressive Sensing Techniques참고 문헌 58인용 수 12

한 줄 요약

이 논문은 스펙트럼 도메인에서 정보 행렬(역공분산)의 희소성에 기반하여 딥 네ural 네트워크의 모델 불확실성에 대한 희소 정보 형식 표현을 제안한다. 저랭크 근사와 새로운 희소화 알고리즘을 활용하여 분석적 샘플링을 가능하게 하며, 다양한 벤치마크에서 불확실성 추정 및 효율성 측면에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

We present a sparse representation of model uncertainty for Deep Neural Networks (DNNs) where the parameter posterior is approximated with an inverse formulation of the Multivariate Normal Distribution (MND), also known as the information form. The key insight of our work is that the information matrix, i.e. the inverse of the covariance matrix tends to be sparse in its spectrum. Therefore, dimensionality reduction techniques such as low rank approximations (LRA) can be effectively exploited. To achieve this, we develop a novel sparsification algorithm and derive a cost-effective analytical sampler. As a result, we show that the information form can be scalably applied to represent model uncertainty in DNNs. Our exhaustive theoretical analysis and empirical evaluations on various benchmarks show the competitiveness of our approach over the current methods.

연구 동기 및 목표

• 베이지안 신경망에서 전체 공분산 행렬을 표현하는 데 있어 비가역적인 계산 비용을 해결하기 위해.
• 정보 행렬(역공분산)의 스펙트럼 희소성을 활용하여 효율적인 불확실성 표현을 위해.
• 정보 행렬의 고유기저에서 크로네커 곱의 구조를 유지하는 저랭크 근사 방법을 개발하기 위해.
• 정보 형식에서 사후 분포에 대한 메모리 효율적인 분석적 샘플러를 유도하기 위해.
• 다양한 벤치마크에서 불확실성 校정 및 분포 외 탐지 측면에서 최신 기술 수준의 성능을 입증하기 위해.

제안 방법

• 사후 분포를 평균과 공분산가 아닌 정보 벡터와 정보 행렬로 파arameter화한 다변수 정규분포의 정보 형식으로 표현한다.
• 정보 행렬의 크로네커 인수분해를 적용한 저랭크 근사(LRA)를 수행하여 고유분해를 통한 스펙트럼 구조를 유지한다.
• 저랭크 감소 과정 중에 크로네커 곱의 구조를 유지하는 스펙트럼 희소화 알고리즘을 도입한다.
• 공간 복잡도를 O(N³)에서 O(L³)로 감소시키는 분석적 샘플러를 유도한다. 여기서 L은 저랭크 차원이다.
• 불확실성 추정을 향상시키기 위해 개선된 대각 분산 보정을 적용한 라플라스 근사 사용.
• 기존 딥 러닝 파ip라인에 쉽게 통합할 수 있도록 플러그인 코드베이스를 활용한다.

실험 결과

연구 질문

• RQ1 DNN의 정보 행렬에서 관찰되는 스펙트럼 희소성을 활용하여 확장 가능한 베이지안 딥 러닝을 가능하게 할 수 있는가?
• RQ2 정보 행렬의 저랭크 근사가 효율적 계산을 위해 필요한 크로네커 곱의 구조를 유지할 수 있는가?
• RQ3 제안된 정보 형식은 기존 방법보다 더 정확하고 효율적인 불확실성 추정을 가능하게 하는가?
• RQ4 성능 측면에서 보다 나은 校정 및 OOD 탐지 성능를 보이는가?
• RQ5 샘플링 및 정보 행렬 계산 측면에서 제안된 방법의 계산 오버헤드는 얼마인가?

주요 결과

• 정보 행렬은 DNN에서 상당한 스펙트럼 희소성을 보이며, 이는 효과적인 저랭크 근사가 가능함을 시사한다.
• 제안된 방법은 ImageNet 포함 여러 벤치마크에서 최신 기술 수준의 불확실성 校정 및 OOD 탐지 성능를 달성한다.
• 저랭크 연산의 효율성 덕분에 ResNet 아키텍처에서 INF 샘플링 시간이 KFAC 및 EFB보다 빠르며, ResNet18에서 INF 샘플링 시간은 4.74ms이다.
• 정보 행렬 계산은 실용적이며, ImageNet에서 모든 방법에 대해 하루 이내에 수행되며, INF 및 EFB는 KFAC에 비해 거의 추가 오버헤드가 없다.
• DenseNet 아키텍처에서는 많은 작은 레이어로 인해 저랭크 근사의 이점이 감소하여, 메모리 사용량은 낮지만 KFAC보다 샘플링 속도가 느리다.
• 결정론적 네트워크보다 불확실성 추정에서 보다 낮은 校정 오차를 기록하며, SWAG 및 SWA보다도 우수한 성능을 보인다.