[논문 리뷰] Variational Predictive Information Bottleneck

Alexander A. Alemi|arXiv (Cornell University)|2019. 10. 23.

Gaussian Processes and Bayesian Inference참고 문헌 19인용 수 10

한 줄 요약

이 논문은 예측 정보 볼록구조를 기반으로 한 변분 예측 정보 볼록구조 프레임워크를 제안하며, 베이지안 추론, 최대우도법, 변분 추론과 같은 현대적 추론 방법들을 정보이론적 목적함수 하나로 통합한다. 예측 정보 볼록구조에 대한 변분 하한을 유도함으로써, 온도 정규화 및 경험 베이지안 접근을 포함한 일반화된 베이지안 추론이 자연스럽게 특수한 경우로 나타남을 보이며, 일반화된 경계 향상과 함께 표현 중심의 원칙적인 학습 관점 제공.

ABSTRACT

In classic papers, Zellner demonstrated that Bayesian inference could be derived as the solution to an information theoretic functional. Below we derive a generalized form of this functional as a variational lower bound of a predictive information bottleneck objective. This generalized functional encompasses most modern inference procedures and suggests novel ones.

연구 동기 및 목표

• 예측 정보에 기반한 정보이론적 목적함수에 기초해 다양한 추론 방법을 통합하는 것.
• 기존의 추론 절차를 일반화하는 예측 정보 볼록구조에 대한 변분 하한을 도출하는 것.
• 표준적인 방법들인 베이지안 추론, 최대우도법, 변분 추론이 일반화된 추론 프레임워크의 특수한 경우로 나타남을 보여주는 것.
• 미래 데이터 조건부 잔여 정보를 최소화함으로써 일반화를 향상시키는 표현 중심의 학습 관점을 제공하는 것.
• 일반적인 변분 근사(예: 인수분해된 가능도 및 무조건적 사전분포)를 완화함으로써 새로운 추론 방법을 동기화하는 것.

제안 방법

• 예측 정보와 표현 정보의 균형을 이루기 위해 라그랑주 승수 β를 도입함으로써 제약이 없는 변분 목적함수를 유도한다.
• 미래 데이터에 독립적인 변분 사전분포 q(θ)를 사용하여 잔여 정보 I(θ; xP|x_F)에 대한 변분 상한을 제안한다.
• 가능도를 인수분해된 곱 ∏i q(xi|θ)로 근사함으로써 I(θ; xP)에 대한 변분 하한을 적용하여 목적함수의 계산 가능성을 확보한다.
• 두 개의 하한을 통합하여 단일 목적함수 E[log p(θ|xP)/q(θ) - β ∑i log q(xi|θ)]를 구성하며, 이는 예측 정보 볼록구조에 대한 하한이 된다.
• β의 다양한 값에 따라 기존의 추론 체계가 회복됨을 보여준다: β→0 (사전 예측), β=1 (베이지안), β→∞ (최대우도법).
• 데이터 증강 및 매개변수 가중치 가족을 포함하도록 프레임워크를 확장하며, 증강된 데이터에 대한 일반화된 베이지안 추론이 여전히 유효한 하한임을 보여준다.

실험 결과

연구 질문

• RQ1 정보이론적 목적함수를 기반으로 하여 베이지안 추론, 최대우도법, 변분 추론과 같은 다양한 추론 절차를 통합할 수 있는가?
• RQ2 라그랑주 승수 β는 예측 능력과 표현 복잡성 간의 트레이드오프를 어떻게 제어하는가?
• RQ3 사후분포 및 미래 데이터 분포에 대한 변분 근사가 정보 볼록구조 하한의 타이트함에 어떤 영향을 미치는가?
• RQ4 일반화된 베이지안 추론과 데이터 증강이 이 프레임워크 내에서 유효한 하한으로 자연스럽게 통합될 수 있는가?
• RQ5 기존 데이터셋에 기반한 q(θ|x_F)를 사용하는 더 정보가 풍부한 사전분포 q(θ|x_F)로 무조건적 변분 사전분포 q(θ)를 대체할 경우의 의미는 무엇인가?

주요 결과

• 제안된 변분 하한은 제일너의 베이지안 추론을 일반화하며, β=1일 때는 표준 베이지안 추론, β→0일 때는 최대우도법 및 사전 예측 추론이 각각 극한 경우로 포함된다.
• 가능도가 인수분해되고 사전분포가 고정되어 있을 경우, 표준 변분 추론이 회복되며, 매개변수 가중치 가족 하에서 지브스 변분 추론으로도 확장된다.
• 고정된 표현과 β=1 하에서 사전분포 또는 가능도를 최적화할 경우, 경험 베이지안 및 신경 과정 방법이 특수한 경우로 나타남을 보였다.
• 가능도가 지수족에 속할 경우, 평균이 0인 노이즈를 포함한 데이터 증강이 변분 하한을 유지하며, 데이터 변형에 대한 강건한 추론이 가능해진다.
• 무조건적 사전분포 q(θ)를 다른 데이터셋에 기반한 조건부 근사 q(θ|x_F)로 대체함으로써 더 타이트한 하한을 달성할 수 있으며, 이는 일반화를 향상시킨다.
• 표현 중심의 관점은 일반적인 변분 근사(예: 인수분해된 가능도 및 고정된 사전분포)가 비최적임을 드러내며, 이를 완화함으로써 추론 품질을 향상시킬 수 있음을 시사한다.