[논문 리뷰] Loss-Calibrated Approximate Inference in Bayesian Neural Networks

Adam D. Cobb, Stephen Roberts외 1명|arXiv (Cornell University)|2018. 05. 10.

Anomaly Detection Techniques and Applications참고 문헌 11인용 수 32

한 줄 요약

이 논문은 베이지안 신경망을 위한 손실 보정 증거 하한(lower bound)을 제안하며, 베이지안 의사결정 이론을 통해 과제에 특화된 유틸리티 함수를 통합함으로써 비대칭 오차 비용에서 예측 품질을 향상시킨다. 유틸리티에 의존하는 목적 함수를 최적화함으로써, 이 방법은 더 높은 기대 유틸리티를 달성하고, 보행자 및 차량과 같은 고위험 클래스에서 표준 및 가중치가 부여된 크로스 엔트로피 기준보다 우수한 성능을 보인다.

ABSTRACT

Current approaches in approximate inference for Bayesian neural networks minimise the Kullback-Leibler divergence to approximate the true posterior over the weights. However, this approximation is without knowledge of the final application, and therefore cannot guarantee optimal predictions for a given task. To make more suitable task-specific approximations, we introduce a new loss-calibrated evidence lower bound for Bayesian neural networks in the context of supervised learning, informed by Bayesian decision theory. By introducing a lower bound that depends on a utility function, we ensure that our approximation achieves higher utility than traditional methods for applications that have asymmetric utility functions. Furthermore, in using dropout inference, we highlight that our new objective is identical to that of standard dropout neural networks, with an additional utility-dependent penalty term. We demonstrate our new loss-calibrated model with an illustrative medical example and a restricted model capacity experiment, and highlight failure modes of the comparable weighted cross entropy approach. Lastly, we demonstrate the scalability of our method to real world applications with per-pixel semantic segmentation on an autonomous driving data set.

연구 동기 및 목표

• 표준 근사 추론이 과제에 특화된 유틸리티를 忽시하여 고비용 오류 클래스에서 성능이 떨어질 수 있는 한계를 해결하기 위해.
• 베이지안 의사결정 이론을 근사 추론에 통합하는 원칙적인 방법을 개발하여, 예측이 기대 유틸리티를 최대화하도록 보장하기 위해.
• 유틸리티 인식 학습이 의미 있는 클래스에서의 성능 향상을 이끌어내며 전체 정확도를 떨어뜨리지 않는다는 것을 입증하기 위해.
• 이 손실 보정 방법이 자율주행 데이터셋에서의 픽셀 단위 세분화와 같은 실제 대규모 응용 분야로도 확장 가능하다는 것을 보여주기 위해.

제안 방법

• 과제에 특화된 것이 아니라 과제에 따라 달라지는 유틸리티 함수에 의존하는 새로운 증거 하한(ELBO)을 제안하여 근사가 과제에 특화된 것으로 전환한다.
• 학습 중 기대 유틸리티를 최적화하는 데 초점을 맞춘 손실 보정 목적 함수를 유도하며, 사후분포로의 KL 발산 최소화가 아니라 기대 유틸리티 최대화를 목표로 한다.
• 드롭아웃 추론을 사용하여 방법을 구현하며, 새로운 목적 함수가 표준 드롭아웃에 추가로 유틸리티에 의존하는 페널티 항이 더해진 것과 동일하다는 것을 보여준다.
• 예측 분포를 유틸리티로 가중하여 통합함으로써 베이지안 의사결정 이론을 적용하여 최적의 예측을 선택한다.
• 유틸리티 맵을 활용해 각 픽셀의 기대 수익을 시각화하여, 고유틸리티 클래스인 보행자와 같은 객체 주변에서 더 선명한 경계 검출이 이루어짐을 확인한다.
• 심층 신경망의 실제 응용 분야에서 검증하기 위해, 세그넷-베이직 아키텍처를 사용한 캠비드 데이터셋에서의 실제 세분화 작업과 함께 시뮬레이션 실험을 수행한다.

실험 결과

연구 질문

• RQ1 일반적인 발산 최소화에 의존하는 것보다 과제에 특화된 유틸리티 함수를 통합함으로써 베이지안 신경망의 근사 추론 성능을 향상시킬 수 있는가?
• RQ2 유틸리티에 의존하는 ELBO는 세분화 과제에서 보행자 및 차량과 같은 고위험 클래스에서 성능에 어떤 영향을 미치는가?
• RQ3 제안된 방법이 표준 및 가중치가 부여된 크로스 엔트로피 학습보다 기대 유틸리티 및 중요한 클래스의 정확도 측면에서 더 우수한 성능을 보이는가?
• RQ4 손실 보정 접근 방식은 자율주행 세분화와 같은 실제 대규모 딥러닝 응용 분야로도 확장 가능한가?
• RQ5 노이즈가 많은 레이블이나 클래스 불균형 상황에서 유틸리티 무시 기반 방법(예: 가중치가 부여된 크로스 엔트로피)의 실패 모드는 무엇인가?

주요 결과

• 손실 보정 BNN은 표준 모델(0.619)과 가중치가 부여된 크로스 엔트로피 모델(0.633)보다 훨씬 높은 테스트 기대 유틸리티 0.685를 달성한다.
• 보행자 및 차량과 같은 고유틸리티 클래스에서 손실 보정 모델은 IOU가 각각 0.13과 0.39를 기록하여 표준 모델(0.06과 0.28) 및 가중치 모델(0.09와 0.31)을 앞선다.
• 낮은 유틸리티 클래스(예: 도로, 포장도로, 나무)에서도 경쟁 가능한 IOU를 유지함으로써, 중요도가 낮은 클래스에서의 성능 저하가 없음을 확인한다.
• 유틸리티 맵을 통해 고유틸리티 객체인 보행자 주변에서 더 선명하고 정확한 경계가 검출됨을 확인하여 국소화 성능 향상을 확인한다.
• 이 방법은 제한된 모델 용량에서도 실제 응용 분야로의 확장 가능성을 보이며, 제한된 모델 성능에서도 픽셀 단위 세분화 과제에서 최신 기술 수준의 성능을 달성한다.
• 손실(노이즈 모델)과 유틸리티(오류의 결과) 간 명확한 분리 덕분에, 레이블이 노이즈가 많을 경우 가중치가 부여된 크로스 엔트로피에서 관찰되는 과적합 문제를 피한다.