[논문 리뷰] Minimal Achievable Sufficient Statistic Learning

Milan Cvitkovic, Günther Koliander|arXiv (Cornell University)|2019. 05. 19.

Face and Expression Recognition인용 수 7

한 줄 요약

이 논문은 주어진 함수 클래스 내에서 최소 충분 통계량을 학습할 수 있도록 최적화하는 새로운 학습 방법인 최소 달성 가능한 충분 통계량(MASS) 학습을 소개한다. 또한 결정론적 종속 연속 변수에 대한 의미 있는 분석을 가능하게 하는 정보이론적 측도인 보존 미분 정보(CDI)를 제안하며, MASS로 학습된 모델이 정보 손실을 최소화하면서도 지도 학습 및 불확실성 정량화에서 경쟁 가능한 성능을 달성함을 보여준다.

ABSTRACT

We introduce Minimal Achievable Sufficient Statistic (MASS) Learning, a training method for machine learning models that attempts to produce minimal sufficient statistics with respect to a class of functions (e.g. deep networks) being optimized over. In deriving MASS Learning, we also introduce Conserved Differential Information (CDI), an information-theoretic quantity that - unlike standard mutual information - can be usefully applied to deterministically-dependent continuous random variables like the input and output of a deep network. In a series of experiments, we show that deep networks trained with MASS Learning achieve competitive performance on supervised learning and uncertainty quantification benchmarks.

연구 동기 및 목표

• 표준 상호정보량이 결정론적 연속 사상에서 무한대가 되기 때문에, 딥 러닝에서 최소 충분 통계량을 학습하는 데 도전하는 문제를 해결하기 위해.
• 딥 네트워크에 의미적으로 적용 가능한 이론적으로 탄탄한 상호정보량의 대체 측도를 개발하기 위해.
• 실제 가설 클래스(예: 딥 신경망과 같은) 내에서 가능한 최소 통계량—즉, 최소한의 함수들—을 학습하도록 유도하는 학습 목표를 설계하기 위해.
• 원칙적인 표현 학습을 통해 딥 러닝의 불확실성 정량화 및 일반화를 향상시키기 위해.

제안 방법

• 보존 미분 정보(CDI)를 도입하며, 이는 $ C(X,f(X)) = H(f(X)) - \mathbb{E}_X[\log J_f(X)] $ 로 정의되며, 여기서 $ J_f(X) $ 는 네트워크의 변환에 대한 자코비안 행렬식이다.
• 결정론적 연속 사상이 포함된 상황에서 표준 상호정보량을 대체하기 위해 CDI를 핵심 정보이론적 측도로 사용한다.
• 예측 정확도, 표현 엔트로피, 비가역성 간의 균형을 맞추기 위해 $ \mathcal{L}_{\text{MASS}} = H(Y|f(X)) + \beta H(f(X)) - \beta \mathbb{E}_X[\log J_f(X)] $ 를 최소화하는 MASS 학습을 제안한다.
• 조건부 엔트로피 $ H(Y|f(X)) $ 를 추정하기 위해 변분 근사 $ q_\phi(f_\theta(x)|y) $ 를 사용하여 미분 가능한 최적화를 가능하게 한다.
• 최적화 문제에 라그랑주 승수를 적용하여, 함수 클래스 내에서 충분성과 최소성을 강제하는 실용적인 목표 함수를 도출한다.
• 재구성 기법과 몬테카를로 추정을 사용하여 확률적 경사 하강법을 통해 모델을 엔드 투 엔드로 훈련한다.

실험 결과

연구 질문

• RQ1 표준 상호정보량이 발산하는 결정론적 연속 딥 네트워크에서 보존 미분 정보(CDI)가 유한하고 의미 있는 정보 전달 측도를 제공할 수 있는가?
• RQ2 CDI를 기반으로 한 손실을 최소화하도록 딥 네트워크를 훈련시키면, 딥 네트워크 클래스 내에서 최소 충분 통계량이 되는 표현을 얻을 수 있는가?
• RQ3 분류 정확도, 일반화 및 불확실성 정량화 측면에서 MASS 학습은 표준 크로스 엔트로피 학습과 변분 추론(VIB)에 비해 어떻게 비교되는가?
• RQ4 MASS 학습은 명시적인 불확실성 모델링 없이도 표현을 암묵적으로 정규화하고 불확실성 캘리브레이션을 향상시키는 데 얼마나 기여하는가?
• RQ5 딥 러닝 성능에 있어 최소 통계량과 최소 달성 가능한 충분 통계량 간의 구분은 실용적으로 의미 있는가?

주요 결과

• MASS 학습은 CIFAR-10에서 경쟁 가능한 테스트 정확도를 달성하며, 최고의 테스트 정확도는 $ 50.2 \pm 1.0\% $ 로 표준 크로스 엔트로피 학습과 유사하다.
• 불확실성 정량화가 크게 향상되었으며, $ \beta = 110^{-4} $ 일 때 $ \max_i q_\phi(f_\theta(x)|y_i) $ 값이 $ \mathbf{0.72 \pm 0.08} $ 로 나타나 예측 불확실성의 캘리브레이션이 더 우수함을 시사한다.
• MASS 학습으로 훈련된 모델은 표현 엔트로피가 낮고($ 0.48 \pm 0.04 $), 자코비안 행렬식 손실이 높아($ \mathbf{0.66 \pm 0.09} $) VIB 및 SoftmaxCE에 비해 더 체계적이고 최소화된 표현을 가지는 것으로 나타났다.
• MASS 학습의 손실 구성 요소—엔트로피, 자코비안, 조건부 엔트로피—는 표준 크로스 엔트로피 학습과는 다르게 변화하며, 이는 다른 인덕티브 바이어스를 반영한다.
• 유사한 정확도를 보일지라도, SoftmaxCE 학습은 훈련 중 엔트로피와 자코비안 항의 궤적이 다름으로써 암묵적으로 MASS 학습을 수행하지 않음을 입증한다.
• 불확실성 정량화 벤치마크에서 강력한 성능을 보였으며, 예측 캘리브레이션과 불확실성 추정 측면에서 VIB 및 표준 학습을 능가했다.