[論文レビュー] Learnability for the Information Bottleneck

Tailin Wu, Ian Fischer+2 more|DSpace@MIT (Massachusetts Institute of Technology)|Jul 17, 2019

Adversarial Robustness in Machine Learning被引用数 6

ひとこと要約

本稿では、ハイパーパrameter β によって制御される情報ボトルネック（IB）目的関数における鋭い相転移を特定する理論的枠組み、IB-学習可能性を導入する。β が小さすぎる場合には学習に失敗し（自明な表現が最適化される）、明確なサブセット（信頼性が高く、典型的かつ不均衡な例）に基づいた学習に成功するための十分条件を導出。これにより、MNIST や CIFAR10 といったデータセットにおける β の実用的推定が可能になる。

ABSTRACT

The Information Bottleneck (IB) method (\cite{tishby2000information}) provides an insightful and principled approach for balancing compression and prediction for representation learning. The IB objective $I(X;Z)-βI(Y;Z)$ employs a Lagrange multiplier $β$ to tune this trade-off. However, in practice, not only is $β$ chosen empirically without theoretical guidance, there is also a lack of theoretical understanding between $β$, learnability, the intrinsic nature of the dataset and model capacity. In this paper, we show that if $β$ is improperly chosen, learning cannot happen -- the trivial representation $P(Z|X)=P(Z)$ becomes the global minimum of the IB objective. We show how this can be avoided, by identifying a sharp phase transition between the unlearnable and the learnable which arises as $β$ is varied. This phase transition defines the concept of IB-Learnability. We prove several sufficient conditions for IB-Learnability, which provides theoretical guidance for choosing a good $β$. We further show that IB-learnability is determined by the largest confident, typical, and imbalanced subset of the examples (the conspicuous subset), and discuss its relation with model capacity. We give practical algorithms to estimate the minimum $β$ for a given dataset. We also empirically demonstrate our theoretical conditions with analyses of synthetic datasets, MNIST, and CIFAR10.

研究の動機と目的

• IBハイパーパrameter β の選定に理論的指針が欠如している問題に対処すること。通常、β は経験的に選ばれる。
• 不適切に選ばれた β によって IB 目的関数が意味のある表現を学習できない状況を特定すること。
• β の増加に伴い、IB 目的関数における鋭い相転移として学習の開始を特徴づけること。
• IB-学習可能性を、明確なサブセット（信頼性が高く、典型的かつ不均衡な例）といったデータの内在的性質と結びつけること。
• 実際のデータセットにおける学習可能性に必要な最小 β を推定するための実用的アルゴリズムを提供すること。

提案手法

• IB-学習可能性という概念を導入し、IB 目的関数における学習不能と学習可能の領域の間の相転移として定式化する。
• IB 目的関数の2次変動を用いて、IB-学習可能性の十分条件を導出し、β をデータ統計と結びつける。
• 「目立つサブセット」として、信頼性が高く、典型的かつ不均衡な例の最大サブセットを特定し、これが IB-学習可能性の主要な決定要因であると同定する。
• IB-学習可能性と情報理論的量（ハイパーコントラクト性係数、収縮係数、最大相関係数）との理論的関係を確立する。
• Algorithm 1 を提案し、データ分布と目立つサブセットを分析することで、学習可能性に必要な最小 β を推定する。
• 合成データ、MNIST、CIFAR10 に対して変分推論と VIB モデルを用いて、理論的予測を実証的に検証する。

実験結果

リサーチクエスチョン

• RQ1 IB 目的関数が自明な表現（trivial representation）に陥る状態から、非自明な表現を成功裏に学習する状態に移行する β の値は何か？
• RQ2 与えられた β が IB フレームワークで学習を可能にするかどうかを決定づけるデータの内在的性質は何か？
• RQ3 IB-学習可能性は、特に信頼性が高く、典型的かつ不均衡な例の存在を含むデータ分布の構造とどのように関連しているか？
• RQ4 IB-学習可能性の理論的条件は、実世界のデータセットにおける成功した学習に必要な最小 β を予測するために使用可能か？
• RQ5 IB-学習可能性は、ハイパーコントラクト性や最大相関係数といった既存の情報理論的測度とどのように関係しているか？

主な発見

• β が小さすぎる場合、IB 目的関数のグローバル最小値として自明な表現 P(Z|X) = P(Z) が最適化され、学習は不可能になる。
• 臨界 β 値において鋭い相転移が発生し、これにより IB-学習可能性の開始が示され、MNIST および CIFAR10（20%のラベルノイズ付き）で実証的に観察された。
• 学習に必要な最小 β は、目立つサブセット（信頼性が高く、典型的かつ不均衡な例）によって決定され、そのサイズと統計が閾値を規定する。
• MNIST（20%のラベルノイズ）では、β ≈ 3.25 で相転移が発生し、精度がランダム推測（50%）から90%以上へ急激に上昇する。
• 理論的予測値 β₀（学習可能性に必要な最小 β）は、実証的結果とよく一致しており、CIFAR10（20%のラベルノイズ）では β₀ ≈ 1.0483 となった。
• β₀ を推定するためのアルゴリズムは、合成データおよび実データの両方で理論的閾値と実際のモデル性能をうまく近似できた。