[논문 리뷰] Machine Learning using the Variational Predictive Information Bottleneck with a Validation Set

Sayandev Mukherjee|arXiv (Cornell University)|2019. 11. 06.

Statistical Mechanics and Entropy참고 문헌 3인용 수 4

한 줄 요약

이 논문은 예측 정보 버블 프레임워크를 검증 세트를 포함한 기계 학습에 확장하여, 모델 훈련을 미래 데이터에 대한 예측 능력, 훈련 데이터의 압축, 검증 세트 성능 사이의 균형을 맞추는 정보 처리 최적화 문제로 공식화한다. 주요 기여는 훈련, 검증, 미래 데이터를 통합하는 공동 정보 버블 기준을 통해 변분 추론 목표를 제안한 것으로, 최적화가 성공할 경우 베이지안 유사 업데이트 규칙을 도출한다.

ABSTRACT

Zellner (1988) modeled statistical inference in terms of information processing and postulated the Information Conservation Principle (ICP) between the input and output of the information processing block, showing that this yielded Bayesian inference as the optimum information processing rule. Recently, Alemi (2019) reviewed Zellner's work in the context of machine learning and showed that the ICP could be seen as a special case of a more general optimum information processing criterion, namely the Predictive Information Bottleneck Objective. However, Alemi modeled the model training step in machine learning as using training and test data sets only, and did not account for the use of a validation data set during training. The present note is an attempt to extend Alemi's information processing formulation of machine learning, and the predictive information bottleneck objective for model training, to the widely-used scenario where training utilizes not only a training but also a validation data set.

연구 동기 및 목표

• 실제로 널리 사용되는 검증 세트를 포함한 기계 학습에서 정보 이론적 공식화에 부재했던 예측 정보 버블 프레임워크를 확장하는 것.
• 모델 파라미터와 미래 데이터 간의 상호정보량을 최대화하면서도, 훈련 및 검증 데이터로부터의 정보를 제약하는 정보 처리 과제로 모델 훈련을 공식화하는 것.
• 과거, 검증, 미래 데이터를 포함하는 공동 정보 버블 목표의 타당한 최적화를 가능하게 하는 변분 근사법을 도출하는 것.
• 성공적인 최적화가 이루어질 경우, 새로운 목표 함수가 훈련, 검증, 미래 데이터를 모두 통합하는 베이지안 업데이트 규칙으로 축소됨을 보여주는 것.

제안 방법

• 훈련 및 검증 데이터로부터의 정보를 라그랑주 승수를 통해 제약하면서도, 모델 파라미터와 미래 데이터 간의 상호정보량을 최대화하는 공동 정보 버블 목표를 제안한다.
• 마르코프 성질과 정보 이론적 항등식을 사용하여 등가의 비제약 최적화 문제를 유도함으로써, 조건부 상호정보량의 가중합을 최소화하는 문제로 전환한다.
• 두 가지 변분 근사를 적용한다: 하나는 모델 파라미터의 사후분포에 대해, 다른 하나는 훈련 및 검증 데이터의 가능도에 대해 적용하여 최적화의 타당성을 확보한다.
• 온도 유사 초매개변수 β와 γ를 사용하여 사전분포, 훈련 가능도, 검증 가능도를 통합하는 모델 파라미터의 변분 분포를 도입한다.
• 최적의 변분 사후분포를 사전분포, 훈련 가능도의 β 승, 검증 가능도의 γ 승의 정규화된 곱으로 유도하며, 분할 함수 Zβ,γ를 포함한다.
• 훈련 및 검증 데이터에 대한 정보 제약 조건이 충족될 경우, 최적의 업데이트 규칙은 훈련 및 검증 데이터를 통합한 공동 가능도를 사용하는 베이지안 추론으로 축소됨을 보여준다.

실험 결과

연구 질문

• RQ1 기계 학습 훈련에서 검증 세트를 포함한 예측 정보 버블 프레임워크는 어떻게 확장할 수 있는가?
• RQ2 미래 데이터의 예측 성능와 훈련 및 검증 데이터의 압축 사이를 균형 잡는 정보 이론적 목표 함수는 무엇인가?
• RQ3 검증 세트의 포함이 모델 사후분포의 변분 근사 및 최적화에 어떻게 영향을 미치는가?
• RQ4 제안된 목표 함수가 언제 베이지안 추론으로 축소되는가?
• RQ5 초매개변수 β와 γ는 훈련, 검증, 미래 데이터의 정보 간 무게 조정에 어떻게 기여하는가?

주요 결과

• 제안된 목표 함수는 진짜 데이터 분포와 모델 파라미터에 대한 변분 사후분포에 의존하는 변분 목표 함수에 의해 상한선으로 둘러싸여 있다.
• 최적의 변분 사후분포는 사전분포, 훈련 가능도의 β 승, 검증 가능도의 γ 승의 정규화된 곱으로 유도되며, 분할 함수 Zβ,γ를 포함한다.
• 훈련 및 검증 데이터에 대한 정보 제약 조건이 충족될 경우(I(θ; xP) > I′0 및 I(θ; xV|xP) > I′′0), 최적의 업데이트 규칙은 훈련 및 검증 데이터를 통합한 공동 가능도를 사용하는 베이지안 추론으로 축소된다.
• 이 방법은 검증 세트를 사용하는 모델 훈련에 대한 정보 처리 관점에서의 체계적인 정보 이론적 기반을 제공하며, 이러한 실천이 자연스럽게 정보 처리 관점에서 유도됨을 보여준다.
• 이 프레임워크는 Alemi의 예측 정보 버블을 검증 데이터를 포함하도록 일반화하여, 상호정보량의 관점에서 훈련, 검증, 일반화를 통합된 시각으로 제공한다.
• 성공적인 최적화 조건 하에서 이 방법은 베이지안 추론과 일관성을 유지하며, 검증 기반 하이퍼파rameter 튜닝이 최적의 정보 처리와 일치함을 시사한다.