[논문 리뷰] Being Bayesian about Categorical Probability

Taejong Joo, Uijung Chung외 1명|ArXiv.org|2020. 02. 19.

Anomaly Detection Techniques and Applications참고 문헌 62인용 수 10

한 줄 요약

이 논문은 디리클레 prior를 갖는 난수 변수로 카테고리 확률을 모델링함으로써 소프트맥스 함수의 베이지안 대체 방법을 제안한다. 이는 더 나은 불확실성 추정과 모델 校정을 가능하게 하며, 교차 엔트로피 손실을 베이즈 규칙에 따라 민감도를 업데이트하는 민감도 매칭 프레임워크로 대체함으로써, 최소한의 계산 오버헤드로도 일반화 및 校정 성능을 일관되게 향상시킨다.

ABSTRACT

Neural networks utilize the softmax as a building block in classification tasks, which contains an overconfidence problem and lacks an uncertainty representation ability. As a Bayesian alternative to the softmax, we consider a random variable of a categorical probability over class labels. In this framework, the prior distribution explicitly models the presumed noise inherent in the observed label, which provides consistent gains in generalization performance in multiple challenging tasks. The proposed method inherits advantages of Bayesian approaches that achieve better uncertainty estimation and model calibration. Our method can be implemented as a plug-and-play loss function with negligible computational overhead compared to the softmax with the cross-entropy loss function.

연구 동기 및 목표

• 딥 신경망에서 표준 소프트맥스의 과신뢰성과 열악한 불확실성 校정 문제를 해결하기 위해.
• 주요 아키텍처 변경 없이 딥 러닝 모델의 일반화 성능을 향상시키기 위해.
• 카테고리 확률을 난수 변수로 간주함으로써 분류에서 효율적인 베이지안 추론을 가능하게 하기 위해.
• 네트워크 아키텍처나 상당한 계산 오버헤드 없이 불확실성 표현을 향상시키는 즉시 사용 가능한 손실 함수를 제공하기 위해.

제안 방법

• 라벨 노이즈와 불확실성을 표현하기 위해 카테고리 확률 분포를 디리클레 prior를 갖는 난수 변수로 모델링한다.
• 관측된 레이블을 사용하여 베이즈 규칙을 적용해 사전 민감도를 업데이트하고, 클래스 확률에 대한 사후 분포를 형성한다.
• 예측된 분포와 사후 분포 간의 KL 발산을 최소화하는 민감도 매칭 손실로 표준 소프트맥스 교차 엔트로피 손실을 대체한다.
• 계산이 불가능한 사후 분포를 근사하기 위해 변분 추론을 사용하여 엔드 투 엔드 학습을 가능하게 한다.
• 기존 딥 러닝 프레임워크와 모델과 호환되는 플러그인 손실 함수로 구현한다.
• 해석 가능한 업데이트와 효율적인 사후 분포 계산을 가능하게 하기 위해 디리클레 켄코지트 우선를 사용한다.

실험 결과

연구 질문

• RQ1 카테고리 확률을 난수 변수로 모델링하는 것이 딥 신경망에서 모델 校정과 불확실성 추정을 향상시키는가?
• RQ2 제안된 민감도 매칭 프레임워크는 표준 소프트맥스 교차 엔트로피에 비해 일반화 및 내성에 있어 어떻게 비교되는가?
• RQ3 기존 딥 러닝 모델에 최소한의 아키텍처 변경과 계산 오버헤드로 베이지안 접근법을 통합할 수 있는가?
• RQ4 예측의 더 풍부한 확률적 구조를 포착함으로써, 반감도 학습에서 성능 향상이 이루어지는가?

주요 결과

• VAT를 사용한 CIFAR-10에서 민감도 매칭(BM) 방법은 표준 소프트맥스의 13.33% ± 0.37보다 낮은 12.40% ± 0.23의 테스트 오차율을 기록했다.
• Π-모델을 사용한 CIFAR-10에서 BM는 표준 소프트맥스의 16.52% ± 0.21보다 낮은 16.01% ± 0.36의 테스트 오차율을 달성했다.
• 대규모 모델, 특히 ImageNet의 ResNeXt-101에서 일반화 성능 향상이 일관되게 관찰되었으며, 다양한 벤치마크에서 유의미한 성과 향상을 보였다.
• 민감도 매칭 프레임워크는 예측의 (공)분산과 같은 더 풍부한 확률적 구조를 포착했다.
• 네트워크 아키텍처 변경 없이도 더 나은 불확실성 추정과 모델 校정을 달성했으며, 상당한 계산 오버헤드 없이도 가능했다.
• 분포 수준의 매칭을 통해 더 정교한 일致성 측정이 가능해져 반감도 학습에서의 효과성이 입증되었다.