[論文レビュー] Decomposed Mutual Information Estimation for Contrastive Representation Learning

Alessandro Sordoni, Nouha Dziri+4 more|arXiv (Cornell University)|Jun 25, 2021

Domain Adaptation and Few-Shot Learning被引用数 11

ひとこと要約

本稿では、鎖則を用いて相互情報量（MI）推定を条件付きと無条件のMI項の和に分解することで、対照的表現学習を改善する手法である分解型相互情報量推定（DEMI）を提案する。逐次的により情報量の多い部分視点で学習することで、DEMIはMI推定のバイアスを低減し、視覚的タスクおよび対話タスクにおいて標準的な対照的手法よりも優れた表現を達成する。

ABSTRACT

Recent contrastive representation learning methods rely on estimating mutual information (MI) between multiple views of an underlying context. E.g., we can derive multiple views of a given image by applying data augmentation, or we can split a sequence into views comprising the past and future of some step in the sequence. Contrastive lower bounds on MI are easy to optimize, but have a strong underestimation bias when estimating large amounts of MI. We propose decomposing the full MI estimation problem into a sum of smaller estimation problems by splitting one of the views into progressively more informed subviews and by applying the chain rule on MI between the decomposed views. This expression contains a sum of unconditional and conditional MI terms, each measuring modest chunks of the total MI, which facilitates approximation via contrastive bounds. To maximize the sum, we formulate a contrastive lower bound on the conditional MI which can be approximated efficiently. We refer to our general approach as Decomposed Estimation of Mutual Information (DEMI). We show that DEMI can capture a larger amount of MI than standard non-decomposed contrastive bounds in a synthetic setting, and learns better representations in a vision domain and for dialogue generation.

研究の動機と目的

• 大規模なMIを測定する際の対照的相互情報量（MI）推定における低減バイアスを是正すること。
• 鎖則を用いて、全体のMI推定問題をより小さく、取り扱いやすい部分問題に分解することで、表現学習を改善すること。
• 条件付きMIのための対照的下界を構築し、効率的な最適化を可能とすること。
• MI推定の分解が、視覚的および対話生成タスクにおける下流の表現品質を向上させることを実証すること。

提案手法

• 2つの視点xとy間の相互情報量I(x; y)を鎖則を用いて項の和に分解する：I(x; y) = I(x′; y) + I(x; y|x′)，ここでx′はxの部分視点である。
• 無条件MI項I(x′; y)を、p(y)からの負例を用いた標準的な対照的学習により最大化する。
• 条件付きMI項I(x; y|x′)のための対照的下界を定式化し、x′を用いてp(y|x′)からハードな負例を生成することで、効率的な最適化を可能にする。
• 対話タスクにおける未来の負例を生成するために、p(y|x′)をモデル化するための変分近似（例：GPT2）を用いる。
• エンコーダーを、正例ペア(x, y)と、p(y|x′)からサンプリングされたy′からの負例ペア(x, y′)を区別するように学習させ、効果的に条件付きMIを最大化する。
• 一般化を検証するため、視覚的（画像増幅）および順序的（対話）設定の両方で本手法を適用する。

実験結果

リサーチクエスチョン

• RQ1 相互情報量推定をより小さな条件付きおよび無条件の項に分解することで、対照的MI推定におけるバイアスを低減できるか？
• RQ2 条件付きMI I(x; y|x′)を最大化することは、無条件MI I(x; y)を最大化するのと比べて、より優れた表現学習をもたらすか？
• RQ3 提案された条件付きMIの対照的下界は、効率的に最適化可能であり、異なるデータモodalに一般化可能か？
• RQ4 DEMIは、標準的な対照的手法および他のMI最大化ベースラインと比較して、下流の表現品質において優れているか？
• RQ5 分解戦略は、視覚的および順序的（対話）表現学習タスクの両方で性能向上をもたらすか？

主な発見

• 合成的なMI推定設定において、DEMIは標準的な非分解型対照的下界よりも顕著に多くの相互情報量を捉えている。
• 視覚的タスクにおいて、DEMIはInfoNCEや他のベースラインと比較して、より優れた下流パフォーマンスを示す表現を学習している。
• 対話生成において、DEMIは自動評価指標および人間評価の両方で、より質の高い応答を生成している。
• 人間評価では、α=0.01でDEMIで生成された応答が、InfoNCEおよびベースラインモデルの応答よりも顕著に好まれた。
• MultiWOZ 2.0対話ベンチマークにおいて、GPT2、TransferTransfo、GPT2-MMIを上回る最先端の結果を達成した。
• アブレーションスタディにより、条件付きMI項が表現品質に顕著に寄与しており、特に順序データにおける長期依存関係の捉え方において顕著であることが確認された。