[논문 리뷰] Modeling Uncertainty by Learning a Hierarchy of Deep Neural Connections

Raanan Y. Rohekar, Yaniv Gurwicz외 2명|arXiv (Cornell University)|2019. 01. 01.

Adversarial Robustness in Machine Learning인용 수 8

한 줄 요약

이 논문은 생성망과 판별망 간의 연결 패턴을 공유하여 불확실성을 모델링하는 계층적 딥 네ural 네트워크 아키텍처를 제안한다. 이는 불확실성 추정을 위한 효율적인 사후 샘플링을 가능하게 하며, 상태기반 기준을 초월해 校정성(calibration)과 분포 외 데이터 탐지 성능을 향상시킨다.

ABSTRACT

Modeling uncertainty in deep neural networks, despite recent important advances, is still an open problem. Bayesian neural networks are a powerful solution, where the prior over network weights is a design choice, often a normal distribution or other distribution encouraging sparsity. However, this prior is agnostic to the generative process of the input data, which might lead to unwarranted generalization for out-of-distribution tested data. We suggest the presence of a confounder for the relation between the input data and the discriminative function given the target label. We propose an approach for modeling this confounder by sharing neural connectivity patterns between the generative and discriminative networks. This approach leads to a new deep architecture, where networks are sampled from the posterior of local causal structures, and coupled into a compact hierarchy. We demonstrate that sampling networks from this hierarchy, proportionally to their posterior, is efficient and enables estimating various types of uncertainties. Empirical evaluations of our method demonstrate significant improvement compared to state-of-the-art calibration and out-of-distribution detection methods.

연구 동기 및 목표

• 입력 데이터의 생성 과정을 忽略하는 사전 분포로 인해 베이지안 신경망이 분포 외 데이터에 대해 일반화 성능이 떨어지는 문제를 해결하기 위해.
• 목표 레이블이 주어졌을 때 입력 데이터와 판별 함수 간의 관계에 影響을 미치는 교란요인(confounder)을 식별하고 이를 효과적으로 모델링하기 위해.
• 지역적 인과적 구조의 사후 분포로부터 샘플링하는 딥 아키텍처를 개발하여 불확실성을 더 잘 표현하기 위해.
• 작은 계층적 네트워크의 사후 분포로부터의 샘플링을 통해 다양한 유형의 불확실성 유형을 효율적으로 추정하기 위해.
• 기존 방법들과 비교해 모델의 校정성과 분포 외 데이터 탐지 성능을 향상시키기 위해.

제안 방법

• 생성망과 판별망이 신경 연결 패턴을 공유하는 계층적 아키텍처를 도입하여 입력-레이블 관계 내에서 교란요인을 모델링한다.
• 국소적 인과적 구조에 대한 사후 분포를 정의함으로써, 모델의 구조적 불확실성을 반영하는 네트워크 샘플링을 가능하게 한다.
• 샘플된 네트워크를 밀도 있는 계층으로 결합하여, 사후 확률 비례의 가중치 샘플링을 통해 효율적인 추론을 가능하게 한다.
• 구조적 공유를 활용하여 사전의 인덕티브 바이어스를 데이터의 생성 과정과 일치시켜 강건성을 향상시킨다.
• 각각의 가능성을 반영하는 인과적 구조 구성에 해당하는 다수의 샘플된 네트워크 예측을 통합함으로써 불확실성 추정을 달성한다.
• 명시적 사후 근사가 필요 없으며, 대신 학습된 연결 패턴의 계층적 구조에서의 구조적 샘플링에 의존한다.

실험 결과

연구 질문

• RQ1 입력 데이터의 생성 과정에 대한 지식을 통합함으로써 딥 네트워크의 불확실성 추정을 어떻게 향상시킬 수 있는가?
• RQ2 입력 데이터와 판별 함수 간의 관계에서 교란요인이 수행하는 역할은 무엇이며, 이를 효과적으로 모델링할 수 있는가?
• RQ3 생성망과 판별망 간의 공유 연결 패턴이 더 나은 불확실성 정량화와 강건성 향상에 기여할 수 있는가?
• RQ4 계층적 네트워크 구조에서의 사후 샘플링은 기존 베이지안 신경망 추론 방식과 비교해 校정성과 OOD 탐지 측면에서 어떻게 성능을 냈는가?
• RQ5 높은 계산 비용 없이도, 효율적인 계산 비용을 지닌 구조적·밀도 있는 네트워크 계층이 불확실성을 효과적으로 표현할 수 있는가?

주요 결과

• 제안된 방법은 최신 베이지안 신경망 기법들에 비해 모델의 校정성에서 뚜렷한 향상을 이룩하였다.
• 분포 외 데이터 탐지 성능에서 뛰어난 성능을 보였으며, OOD 샘플에 대한 오진률(false positives)을 감소시켰다.
• 계층적 네트워크 구조에서의 사후 샘플링을 통해 지식 기반 불확실성(epistemic uncertainty)과 데이터 분포 불확실성 등 다양한 유형의 불확실성 추정이 효과적으로 가능해졌다.
• 공유된 연결 구조 메커니즘이 데이터의 기초 생성 과정과 일치하는 사전을 제공함으로써 분포 외 데이터에 대한 일반화 성능을 향상시켰다.
• 계산적으로 효율적이며, 복잡한 사후 근사 없이도 구조적 샘플링을 통해 실용적인 불확실성 추정이 가능했다.
• 실험적 평가를 통해 계층적 아키텍처가 기존 방법들보다 불확실성 정량화 및 강건성 측면에서 뛰어난 성능을 보였다.