[논문 리뷰] Information-Theoretic Analysis of Epistemic Uncertainty in Bayesian Meta-learning

Sharu Theresa Jose, Sangwoo Park외 1명|arXiv (Cornell University)|2021. 06. 01.

Gaussian Processes and Bayesian Inference참고 문헌 41인용 수 4

한 줄 요약

이 논문은 베이지안 메타러닝에서 지식적 불확실성의 정보이론적 분석을 제시하며, 조건부 상호정보량을 사용하여 최소 초과 메타리스크(MEMR)의 정확한 특성과 경계를 유도한다. 연구 결과, 지식적 불확실성은 하이퍼파rameter 불확실성으로 인해 $ O(d/\log(N)/N) $의 비율로 증가하고, 모델 파라미터 불확실성으로 인해 $ O(d/\log(m)/m) $의 비율로 증가함을 보여주며, 실험을 통해 각 작업 데이터가 제한적인 경우 메타러닝이 불확실성을 감소시키지만, 데이터가 풍부한 경우에는 그렇지 않음을 확인하였다.

ABSTRACT

The overall predictive uncertainty of a trained predictor can be decomposed into separate contributions due to epistemic and aleatoric uncertainty. Under a Bayesian formulation, assuming a well-specified model, the two contributions can be exactly expressed (for the log-loss) or bounded (for more general losses) in terms of information-theoretic quantities (Xu and Raginsky, 2020). This paper addresses the study of epistemic uncertainty within an information-theoretic framework in the broader setting of Bayesian meta-learning. A general hierarchical Bayesian model is assumed in which hyperparameters determine the per-task priors of the model parameters. Exact characterizations (for the log-loss) and bounds (for more general losses) are derived for the epistemic uncertainty -quantified by the minimum excess meta-risk (MEMR)- of optimal meta-learning rules. This characterization is leveraged to bring insights into the dependence of the epistemic uncertainty on the number of tasks and on the amount of per-task training data. Experiments are presented that use the proposed information-theoretic bounds, evaluated via neural mutual information estimators, to compare the performance of conventional learning and meta-learning as the number of meta-learning tasks increases.

연구 동기 및 목표

• 기존 베이지안 학습에서의 정보이론적 불확실성 분해를 일반 베이지안 메타러닝으로 확장하기 위해.
• 로그 손실 하에서 최소 초과 메타리스크(MEMR)를 사용하여 메타러닝에서의 지식적 불확실성을 특성화하기 위해.
• 지식적 불확실성이 메타학습 작업 수 $ N $ 와 각 작업의 데이터 수 $ m $ 에 따라 어떻게 달라지는지 정량화하기 위해.
• 베이지안 신경망 환경에서 신경 상호정보 추정기(예: C-MINE)를 사용하여 제안된 경계를 평가하기 위해.
• 메타러닝이 기존 학습 방식보다 유의미한 이점을 제공하는 영역을 특정하기 위해 $ N $ 이 증가함에 따라 기존 학습과 메타러닝의 성능을 비교하기 위해.

제안 방법

• 잘 정의된 모델을 가정하며, 하이퍼파rameter $ U $, 각 작업의 파라미터 $ W $, 작업별 데이터 $ \mathbf{Z} $ 를 포함하는 계층적 모델을 사용하여 베이지안 메타러닝을 수식화한다.
• 로그 손실에 대한 MEMR의 정확한 정보이론적 특성화를 도출하며, 이를 두 개의 조건부 상호정보량의 합으로 표현한다: $ I(Y;W|X,\mathbf{Z},U) $ 와 $ I(Y;U|X,\mathbf{Z}_{1:N}) $.
• 정보이론적 도구를 사용하여 일반적인 손실 함수에 대해 MEMR의 상한을 수립하며, 최소 초과 리스크(MER) 개념을 일반화한다.
• 관련된 조건부 상호정보량을 신경망 추정기, 특히 C-MINE와 SMILE을 사용하여 추정함으로써 경계를 실증적으로 평가할 것을 제안한다.
• 3층의 MLP와 ReLU 활성화 함수를 사용한 베이지안 신경망(BNN) 환경에서 $ N $ 과 $ m $ 를 변화시키며 MEMR와 그 경계를 비교하는 실험을 설계한다.
• C-MINE에서 모델 파라미터와 학습 데이터 사이의 상호정보량을 추정하기 위해 3층의 분류기와 ReLU 활성화 함수, Adam 최적화 기법을 사용한다.

실험 결과

연구 질문

• RQ1 베이지안 메타러닝에서 지식적 불확실성은 메타학습 작업 수 $ N $ 과 각 작업의 데이터 수 $ m $ 에 따라 어떻게 변화하는가?
• RQ2 계층적 베이지안 모델에서 최소 초과 메타리스크(MEMR)의 정보이론적 구조는 어떠한가?
• RQ3 메타러닝이 기존 학습 방식보다 유의미하게 지식적 불확실성을 감소시키는 영역는 언제인가?
• RQ4 하이퍼파rameter 수준과 모델 파라미터 수준의 불확실성이 MEMR에 기여하는 정도는 $ N $ 과 $ m $ 에 따라 어떻게 변화하는가?
• RQ5 신경 상호정보 추정기(예: C-MINE)는 베이지안 신경망 환경에서 유도된 정보이론적 경계를 정확하게 평가할 수 있는가?

주요 결과

• 하이퍼파rameter 불확실성으로 인한 지식적 불확실성은 $ O(d\log(N)/N) $ 비율로 감소하며, 더 많은 메타학습 작업이 있을수록 감소한다.
• 모델 파라미터 불확실성으로 인한 지식적 불확실성은 $ O(d\log(m)/m) $ 비율로 감소하며, 더 많은 각 작업의 데이터가 있을수록 감소한다.
• 각 작업의 데이터 $ m $ 가 적을 경우(예: $ m < 10 $), 하이퍼파arameter 수준의 민감도가 지배적이며, 큰 $ N $ 을 가진 메타러닝이 MEMR를 크게 감소시킨다.
• 각 작업의 데이터 $ m $ 가 많을 경우(예: $ m > 75 $), 모델 파라미터 수준의 민감도가 지배적이며, $ N $ 을 늘려도 기존 학습 방식에 비해 유의미한 이점이 없다.
• 큰 $ N $ 의 극한에서도 지속되는 MEMR는 제한된 각 작업의 데이터 $ m $ 로 인한 지속적인 불확실성 때문이며, 이는 $ N $ 과 독립적이다.
• C-MINE와 SMILE 추정기를 사용한 실험 결과, MEMR와 그 상한이 $ N $ 과 $ m $ 이 증가함에 따라 감소하며, 모든 영역에서 상한이 실제 MEMR를 잘 따라가고 있음을 확인하였다.