[논문 리뷰] General Information Bottleneck Objectives and their Applications to Machine Learning

Sayandev Mukherjee|arXiv (Cornell University)|2019. 12. 12.

Neural Networks and Applications참고 문헌 12인용 수 4

한 줄 요약

이 논문은 정보 복잡도 원리(IBP)와 예측 정보 복잡도 원리(PIBP)를 일반화하는 통합된 일반 정보 복잡도 목표(IBO)의 가족을 제안한다. 이는 IBP/PIBP(모델 파라미터와 테스트 데이터 간의 상호정보량을 최대화함)와 최근 결과(이 상호정보량을 최소화함) 사이의 모순을 해결한다. 모델 파라미터가 경험 손실을 최소화하도록 선택된다는 사실을 고려한 새로운 IBO를 유도하고, 최적화를 위한 변분 상한을 제공함으로써 이론적 추천 간의 충돌을 조율한다.

ABSTRACT

We view the Information Bottleneck Principle (IBP: Tishby et al., 1999; Schwartz-Ziv and Tishby, 2017) and Predictive Information Bottleneck Principle (PIBP: Still et al., 2007; Alemi, 2019) as special cases of a family of general information bottleneck objectives (IBOs). Each IBO corresponds to a particular constrained optimization problem where the constraints apply to: (a) the mutual information between the training data and the learned model parameters or extracted representation of the data, and (b) the mutual information between the learned model parameters or extracted representation of the data and the test data (if any). The heuristics behind the IBP and PIBP are shown to yield different constraints in the corresponding constrained optimization problem formulations. We show how other heuristics lead to a new IBO, different from both the IBP and PIBP, and use the techniques from (Alemi, 2019) to derive and optimize a variational upper bound on the new IBO. We then apply the theory of general IBOs to resolve the seeming contradiction between, on the one hand, the recommendations of IBP and PIBP to maximize the mutual information between the model parameters and test data, and on the other, recent information-theoretic results (see Xu and Raginsky, 2017) suggesting that this mutual information should be minimized. The key insight is that the heuristics (and thus the constraints in the constrained optimization problems) of IBP and PIBP are not applicable to the scenario analyzed by (Xu and Raginsky, 2017) because the latter makes the additional assumption that the parameters of the trained model have been selected to minimize the empirical loss function. Aided by this insight, we formulate a new IBO that accounts for this property of the parameters of the trained model, and derive and optimize a variational bound on this IBO.

연구 동기 및 목표

• 정보 복잡도 원리(IBP)와 예측 정보 복잡도 원리(PIBP)가 모델 파라미터와 테스트 데이터 간의 상호정보량을 최대화하도록 권장하는 데 반해, 최근 정보 이론적 결과(Xu와 Raginsky, 2017)는 이 상호정보량을 최소화해야 한다고 제안하는 갈등을 해결하기 위함.
• IBP와 PIBP를 모델 파라미터와 훈련/테스트 데이터 간의 상호정보량에 대한 제약 조건을 포함하는 더 넓은 제약 최적화 문제의 가족 안에서 특수 케이스로 형식화하기 위함.
• IBP와 PIBP가 기반으로 하는 히ュ리스틱 가정을 규명하여, 이들이 Xu와 Raginsky(2017)에서 분석한 시나리오(모델 파라미터가 경험 손실을 최소화하도록 선택된다고 가정)에는 적용되지 않는 이유를 밝혀내기 위함.
• 모델 파라미터가 훈련 세트에서 경험 손실을 최소화하도록 선택된다는 조건을 명시적으로 포함한 새로운 정보 복잡도 목표(IBO)를 제안하기 위함.
• Alemi(2019)의 기법을 사용하여 새로운 IBO의 변분 상한을 유도하고 최적화함으로써 머신 러닝에서의 실용적 적용을 가능하게 하기 위함.

제안 방법

• IBP와 PIBP를 형태 $ I_1 - \nu I_2 $인 일반적인 정보 복잡도 목표(IBO)의 가족의 구성원으로 형식화함. 여기서 $ I_1 $과 $ I_2 $는 각각 모델 파라미터와 훈련/테스트 데이터 간의 상호정보량이다.
• IBP와 PIBP가 서로 다른 제약 최적화 문제에 해당하며, 이는 $ I(t;\bm{x_P}) $와 $ I(t;\bm{x_F}) $에 대한 서로 다른 제약 조건에 기반한 히ュ리스틱에 기인함을 규명함.
• IBP와 PIBP의 히ュ리스틱이 Xu와 Raginsky(2017)의 시나리오에는 적용되지 않음을 입증함. 이 시나리오는 모델 파라미터가 경험 손실을 최소화하도록 선택된다고 가정한다.
• 새로운 IBO 제안: $ \max_{p(\theta|\bm{x_P})} \left[ I(\theta;\bm{x_P}|\bm{x_F}) - \beta I(\theta;\bm{x_P}) \right] $, 제약 조건 $ L(\theta,\bm{x_P}) \leq \epsilon $ 하에, 여기서 $ \beta \geq 1 $.
• Alemi(2019)의 프레임워크를 동일하게 사용하여 새로운 IBO의 변분 상한을 유도함으로써 변분 추론을 통한 최적화를 가능하게 함.
• 다음과 같은 상한 적용: $ I(\theta;\bm{x_P}|\bm{x_F}) - \beta I(\theta;\bm{x_P}) \leq -\beta H(\bm{x_P}) - \mathbb{E}_{p(\phi)p(\bm{x_P}|\phi)} \log Z_\beta(\bm{x_P}) $, 여기서 $ Z_\beta $는 보조 분포 $ q(\theta) $와 $ q(\bm{x_P}|\theta) $를 통해 정의된다.

실험 결과

연구 질문

• RQ1 왜 IBP와 PIBP는 모델 파라미터와 테스트 데이터 간의 상호정보량을 최대화하도록 권장하는 반면, 최근 일반화 경계는 이를 최소화해야 한다고 제안하는가?
• RQ2 IBP와 PIBP의 히ュ리스틱에 기반한 가정은 무엇이며, 이들이 왜 Xu와 Raginsky(2017)의 시나리오에 적용되지 않는가?
• RQ3 모델 파라미터가 경험 손실을 최소화하도록 선택된다는 사실을 반영한 새로운 정보 복잡도 목표(IBO)는 어떻게 제안할 수 있는가?
• RQ4 이 새로운 IBO에 대해 변분 상한을 유도하고 최적화할 수 있는가? 이를 통해 머신 러닝에서의 실용적 활용이 가능한가?
• RQ5 새로운 IBO는 일반화 이론에서 상호정보량을 최대화하는지 최소화하는지에 대한 갈등을 어떻게 조율하는가?

주요 결과

• IBP와 PIBP가 모델 파라미터와 훈련/테스트 데이터 간의 상호정보량에 대한 제약 조건을 포함하는 더 넓은 제약 최적화 문제의 특수 케이스임을 입증함.
• 핵심 통찰은 IBP와 PIBP의 히ュ리스틱이 Xu와 Raginsky(2017)의 시나리오에는 적용되지 않으며, 이는 모델 파라미터가 경험 손실을 최소화하도록 선택된다는 조건을 IBP나 PIBP에서는 가정하지 않기 때문이다.
• 경험 손실 최소화 조건을 명시적으로 포함한 새로운 IBO 제안: $ \max_{p(\theta|\bm{x_P})} \left[ I(\theta;\bm{x_P}|\bm{x_F}) - \beta I(\theta;\bm{x_P}) \right] $, 여기서 $ \beta \geq 1 $.
• 논문은 새로운 IBO에 대해 날카운 변분 상한을 유도함: $ I(\theta;\bm{x_P}|\bm{x_F}) - \beta I(\theta;\bm{x_P}) \leq -\beta H(\bm{x_P}) - \mathbb{E}_{p(\phi)p(\bm{x_P}|\phi)} \log Z_\beta(\bm{x_P}) $, 이는 변분 추론을 통한 최적화를 가능하게 한다.
• 새로운 IBO는 모델 파라미터가 훈련 세트에서 경험 손실을 최소화하도록 선택된다는 사실을 명시적으로 모델링함으로써 IBP/PIBP와 최근 일반화 경계 간의 갈등을 해결한다.
• 제안된 프레임워크는 기존 IBP와 PIBP 목표를 통합적으로 다루며, 현실적인 훈련 동역학을 반영하는 새로운 목표를 체계적으로 유도할 수 있는 방법을 제공한다.