[논문 리뷰] Learnability for the Information Bottleneck

Tailin Wu, Ian Fischer외 2명|DSpace@MIT (Massachusetts Institute of Technology)|2019. 07. 17.

Adversarial Robustness in Machine Learning인용 수 6

한 줄 요약

이 논문은 정보 차단(IB) 목적함수에서 초수치 β에 의해 지배되는 날카러운 단계 전이를 규명하는 이론적 프레임워크인 IB-Learnability를 소개한다. β가 너무 작을 경우 학습에 실패함을 증명하고(비의미 있는 표현이 최적화됨), 뚜렷한 부분집합—신뢰도 높고 일반적이며 불균형한 예시—기반으로 성공적인 학습을 위한 충분조건을 도출함으로써, MNIST 및 CIFAR10와 같은 데이터셋에 대한 실용적인 β 추정이 가능해진다.

ABSTRACT

The Information Bottleneck (IB) method (\cite{tishby2000information}) provides an insightful and principled approach for balancing compression and prediction for representation learning. The IB objective $I(X;Z)-βI(Y;Z)$ employs a Lagrange multiplier $β$ to tune this trade-off. However, in practice, not only is $β$ chosen empirically without theoretical guidance, there is also a lack of theoretical understanding between $β$, learnability, the intrinsic nature of the dataset and model capacity. In this paper, we show that if $β$ is improperly chosen, learning cannot happen -- the trivial representation $P(Z|X)=P(Z)$ becomes the global minimum of the IB objective. We show how this can be avoided, by identifying a sharp phase transition between the unlearnable and the learnable which arises as $β$ is varied. This phase transition defines the concept of IB-Learnability. We prove several sufficient conditions for IB-Learnability, which provides theoretical guidance for choosing a good $β$. We further show that IB-learnability is determined by the largest confident, typical, and imbalanced subset of the examples (the conspicuous subset), and discuss its relation with model capacity. We give practical algorithms to estimate the minimum $β$ for a given dataset. We also empirically demonstrate our theoretical conditions with analyses of synthetic datasets, MNIST, and CIFAR10.

연구 동기 및 목표

• IB 초수치 β의 선택에 있어 이론적 지침의 부족 문제를 해결하기 위해, 이는 일반적으로 경험적으로 선택된다.
• 적절하지 않은 β 선택으로 인해 IB 목적함수가 의미 있는 표현을 학습하지 못하는 조건을 규명하기 위해.
• β 증가에 따라 IB 목적함수에서 뚜렷한 단계 전이를 통해 학습의 시작을 특성화하기 위해.
• IB-Learnability를 데이터의 내재적 성질—특히 뚜렷한 부분집합(신뢰도 높고 일반적이며 불균형한 예시)과 연결하기 위해.
• 실제 데이터셋에서 학습 가능성에 필요한 최소 β를 추정하기 위한 실용적 알고리즘을 제공하기 위해.

제안 방법

• IB 목적함수에서 학습 불가능과 학습 가능 영역 사이의 단계 전이로 IB-Learnability 개념을 도입한다.
• IB 목적함수의 두 번째 차수 변동을 사용하여 IB-Learnability를 위한 충분조건을 유도하고, β를 데이터 통계와 연결한다.
• ‘뚜렷한 부분집합’—신뢰도 높고 일반적이며 불균형한 예시들로 구성된 가장 큰 부분집합—이 IB-Learnability의 핵심 결정 요소임을 규명한다.
• IB-Learnability와 정보 이론적 양상—초수축 계수, 수축 계수, 최대 상관 계수—사이의 이론적 연결 고리를 수립한다.
• 알고리즘 1을 제안하여 데이터 분포와 뚜렷한 부분집합을 분석함으로써 학습 가능성에 필요한 최소 β를 추정한다.
• 합성 데이터, MNIST, CIFAR10에서 변분 추론과 VIB 모델을 활용하여 이론적 예측을 실증적으로 검증한다.

실험 결과

연구 질문

• RQ1 IB 목적함수가 비의미적인 표현(즉, 임의의 표현)으로서 실패하는 상태에서 의미 있는 비자명한 표현을 성공적으로 학습하는 상태로 전이되는 β의 값은 얼마인가?
• RQ2 어떤 내재적 데이터 성질이 주어진 β 값이 IB 프레임워크에서 학습을 가능하게 하는지 결정하는가?
• RQ3 IB-Learnability는 데이터 분포의 구조, 특히 신뢰도 높고 일반적이며 불균형한 예시의 존재와 어떻게 관련되어 있는가?
• RQ4 IB-Learnability에 대한 이론적 조건은 실제 세계 데이터셋에서 성공적인 학습을 위해 필요한 최소 β를 예측하는 데 사용될 수 있는가?
• RQ5 IB-Learnability는 초수축 계수 및 최대 상관 계수와 같은 기존의 정보 이론적 측정치와 어떻게 관련되어 있는가?

주요 결과

• β가 너무 작을 경우, IB 목적함수의 전역 최소값으로 비의미적인 표현 P(Z|X) = P(Z)가 되어 학습이 불가능해진다.
• 비판적 β 값에서 날카러운 단계 전이가 발생하며, 이는 IB-Learnability의 시작을 나타내며, MNIST 및 CIFAR10(20% 레이블 노이즈)에서 실증적으로 관측된다.
• 학습에 필요한 최소 β는 뚜렷한 부분집합—신뢰도 높고 일반적이며 불균형한 예시—에 의해 결정되며, 이들의 크기와 통계가 임계값을 규정한다.
• 20% 레이블 노이즈가 있는 MNIST의 경우, 단계 전이가 β ≈ 3.25에서 발생하며, 정확도가 무작위 추측(50%)에서 90% 이상으로 급격히 상승한다.
• 이론적 예측값인 β₀(학습 가능성에 필요한 최소 β)는 실증 결과와 밀접하게 일치한다: CIFAR10에서 20% 레이블 노이즈일 경우 β₀ ≈ 1.0483이다.
• β₀ 추정을 위한 알고리즘이 합성 및 실제 데이터셋 전반에서 이론적 임계값과 실증 모델 성능을 성공적으로 근사한다.