[論文レビュー] Learning deep representations by mutual information estimation and maximization

R Devon Hjelm, Alex Fedorov+5 more|arXiv (Cornell University)|Aug 20, 2018

Adversarial Robustness in Machine Learning被引用数 1,393

ひとこと要約

DIMは、入力とエンコーダ出力の間の相互情報を最大化することで、グローバルおよびローカルのMI目的と、表現を形作るための敵対的事前分布一致を用いる。

ABSTRACT

In this work, we perform unsupervised learning of representations by maximizing mutual information between an input and the output of a deep neural network encoder. Importantly, we show that structure matters: incorporating knowledge about locality of the input to the objective can greatly influence a representation's suitability for downstream tasks. We further control characteristics of the representation by matching to a prior distribution adversarially. Our method, which we call Deep InfoMax (DIM), outperforms a number of popular unsupervised learning methods and competes with fully-supervised learning on several classification tasks. DIM opens new avenues for unsupervised learning of representations and is an important step towards flexible formulations of representation-learning objectives for specific end-goals.

研究の動機と目的

• 入力とエンコーダ出力の間の相互情報を最大化することで、表現の教師なし学習を動機づける。
• 局所的な入力構造（パッチレベルのMI）を活用することで、グローバルMIのみよりも分類に適した表現が得られることを示す。
• 敵対的学習を通じて、望ましい統計特性を持つよう表現を制約するための事前分布マッチングを導入する。
• グローバル/ローカルMI目的と事前マッチングを組み合わせることで、複数のデータセットで競争力のあるまたは優れた結果を得られることを示す。

提案手法

• 入力 X とエンコーダ出力 Y の間の相互情報を、DV/JSD/infoNCE風のMI推定器（MINEに触発）を用いて推定・最大化する。
• 局所構造を強調するために、Yと局所入力パッチ C^{(i)}(X) の間のMIをオプションで最大化する（局所的 DIM）。
• エンコーダの出力分布 U_{ψ,P} を事前分布 V に一致させる識別器を訓練し、望ましい統計を強制する（敵対的事前マッチング）。
• グローバルMI、局所MI、および事前マッチングをDIM目的関数に組み合わせ、結合目的関数（式8）に従ってα、β、γで調整可能な重みを設定する。
• MI推定器（DV、JSD、infoNCE）を比較し、ネガティブサンプル数やアーキテクチャの選択に対する頑健性を分析する。
• オクルージョン（遮蔽）や座標予測を含むデータ拡張を探索し、構造をさらに活用して分類性能を向上させる。

実験結果

リサーチクエスチョン

• RQ1 入力とエンコーダ出力の間の相互情報は、教師なしで有用な表現を生み出すか。
• RQ2 局所MI最大化を通じて局所構造を強調することは、グローバルMIと比較して下流の分類性能を改善するか。
• RQ3 敵対的マッチングによってエンコーダの出力分布を事前分布に合わせることは、独立性や分離性といった表現特性を改善するか。
• RQ4 異なるMI推定器（DV、JSD、infoNCE）は、学習の安定性と下流タスクの性能にどのような影響を与えるか。
• RQ5 オクルージョンや座標予測のようなデータ拡張が表現の質に与える影響はどの程度か。

主な発見

• 局所MIを用いるDIM（DIM(L)）は、複数のデータセットで他の教師なし手法を大幅に上回り、設定によっては完全に教師ありの性能に近づくか、上回ることがある。
• グローバルMI（DIM(G））を用いるDIMは、いくつかのモデルと競合するが、通常はDIM(L)および生成系ベースラインを大幅に下回る。
• 表現を制約するための敵対的事前マッチングの導入は、統計的性質を改善し、MI/NDM分析で望ましい事前分布と整合性を高める。
• infoNCEは下流の性能を強く出すことが多く、DVベースの定式化よりネガティブサンプル数に対して頑健な場合がある。一方、JSDは特定の状況で競争力を維持する。
• 遮蔽と座標予測の拡張はDIMの分類精度をさらに向上させ、空間構造を活用することが表現品質の向上につながることを示している。