[論文レビュー] CLUB: A Contrastive Log-ratio Upper Bound of Mutual Information

Pengyu Cheng, Weituo Hao+4 more|arXiv (Cornell University)|Jun 22, 2020

Face and Expression Recognition被引用数 59

ひとこと要約

CLUBは相互情報量の対比的対数比上限と、未知の条件付き確率のためのその変分形を導入し、MIの最小化と情報ボトルネックおよびドメイン適応タスクの改善を可能にする。

ABSTRACT

Mutual information (MI) minimization has gained considerable interests in various machine learning tasks. However, estimating and minimizing MI in high-dimensional spaces remains a challenging problem, especially when only samples, rather than distribution forms, are accessible. Previous works mainly focus on MI lower bound approximation, which is not applicable to MI minimization problems. In this paper, we propose a novel Contrastive Log-ratio Upper Bound (CLUB) of mutual information. We provide a theoretical analysis of the properties of CLUB and its variational approximation. Based on this upper bound, we introduce a MI minimization training scheme and further accelerate it with a negative sampling strategy. Simulation studies on Gaussian distributions show the reliable estimation ability of CLUB. Real-world MI minimization experiments, including domain adaptation and information bottleneck, demonstrate the effectiveness of the proposed method. The code is at https://github.com/Linear95/CLUB.

研究の動機と目的

• 分布が未知または難解な高次元設定におけるMI最小化を動機づける。
• 勾配法で微分可能かつ学習可能な新しいMI上限推定量を提供する。
• p(y|x) が未知の場合の変分拡張 (vCLUB) を開発し、その理論特性を示す。
• 負サンプリングによる加速を伴う CLUB/vCLUB に基づくMI最小化アルゴリズムを有効にする。
• 情報ボトルネックや UD A などのシミュレーションや実世界タスクを通じて CLUB の有効性を示す。

提案手法

• 正例と負例のペア間の条件付き確率の対比的対数比を用いて、MI上限として CLUB を定義する。
• CLUB が I(X;Y) の上限であることを示し、log p(y|x) に基づく不偏推定量 hat{I}_CLUB を導出する。
• 変分ネットワーク q_{θ}(y|x) で p(y|x) を近似することで vCLUB を導入し、その特性を導出する。
• 変分ネットワークと結合分布 p_{σ}(x,y) の更新を交互に行うMI最小化アルゴリズムを提案する。
• 負サンプリング戦略で計算を加速し、N に対して線形時間計算量を持つサンプリング版 vCLUB (vCLUB-S) を得る。
• p(y|x) が既知か未知かに関わらず CLUB への任意のサンプリングを提供する。）

実験結果

リサーチクエスチョン

• RQ1 CLUBは訓練可能で信頼できるMIの上限を提供し、MIの最小化を支援できるだろうか？
• RQ2 p(y|x) が未知で q_{θ}(y|x) がそれをうまく近似する場合、変分拡張 vCLUB はどのように振る舞うか？
• RQ3 CLUB/vCLUB は推定と最小化のタスクにおいて、既存のMI推定器と比較してバイアス-分散のトレードオフが有利か？
• RQ4 CLUBベースのMI最小化は情報ボトルネックや関連するドメイン適応タスクにおける表現を改善できるか？
• RQ5 ネガティブサンプリング (vCLUB-S) は不偏性を維持しつつ計算効率と一般化を改善できるか？

主な発見

• CLUBは toy data で、ベースラインの境界値や下界と比較して、MI推定において一貫してバイアスが低く、MSEが競争力を持つ。
• vCLUB の界は、変分近似 q_{θ}(y|x) が p(y|x) に近い場合に上限として、または信頼できる推定量として機能し続ける。
• BI and UDA の実験は、CLUBベースのMI最小化が下流の性能と表現品質を、以前の境界と比較して改善する。
• Negative sampling (vCLUB-S) は推定量の不偏性を保ちながら、計算コストを各反復で O(N) に低減する。
• 情報ボトルネック設定では、CLUBとそのサンプリング版は競争力のある誤分類率を達成し、訓練の安定性の点で下界推定量や L1-out を上回ることが多い。
• サンプリングベースの CLUB 変種は、推定精度を犠牲にすることなく、一般化と訓練効率を向上させる可能性がある。