[論文レビュー] Multi-label Contrastive Predictive Coding

Jiaming Song, Stefano Ermon|arXiv (Cornell University)|Jul 20, 2020

Domain Adaptation and Few-Shot Learning参考文献 54被引用数 9

ひとこと要約

本稿では、マルチラベル分類問題としてMI推定を定式化することにより、対照的予測コーディング（CPC）を一般化した、新たな相互情報量推定手法であるマルチラベル対照的予測コーディング（ML-CPC）を提案する。ML-CPCは、同じバッチ内から複数の正例を同時に特定できるキューバイの能力を有することで、従来のCPCのlog mの上界を上回りつつも、相互情報量の有効な下界を維持する。その結果、教師あり表現学習および知識蒸留の分野でバイアスが低減され、性能が向上し、CIFAR-100の知識蒸留タスクの13のうち10つで最先端手法を上回る。

ABSTRACT

Variational mutual information (MI) estimators are widely used in unsupervised representation learning methods such as contrastive predictive coding (CPC). A lower bound on MI can be obtained from a multi-class classification problem, where a critic attempts to distinguish a positive sample drawn from the underlying joint distribution from $(m-1)$ negative samples drawn from a suitable proposal distribution. Using this approach, MI estimates are bounded above by $\log m$, and could thus severely underestimate unless $m$ is very large. To overcome this limitation, we introduce a novel estimator based on a multi-label classification problem, where the critic needs to jointly identify multiple positive samples at the same time. We show that using the same amount of negative samples, multi-label CPC is able to exceed the $\log m$ bound, while still being a valid lower bound of mutual information. We demonstrate that the proposed approach is able to lead to better mutual information estimation, gain empirical improvements in unsupervised representation learning, and beat a current state-of-the-art knowledge distillation method over 10 out of 13 tasks.

研究の動機と目的

• CPCのような変分相互情報量推定器に生じるバイアスを是正すること。これらはmが小さい場合にMIを著しく低減してしまうlog mの上界に束縛されている。
• 計算コストの増加や下界の保証を損なわずに、MI推定の有効な上界を拡大する手法を開発すること。
• 無教師表現学習および知識蒸留における、より良い相互情報量推定と下流タスクの性能向上を実現すること。
• 理論的裏付けが強く、計算効率が良く、バイアス-分散トレードオフが改善された、既存の対照学習目的の代替手段を提供すること。

提案手法

• クエリと複数のキーレプリゼンテーション間の類似度スコアを出力するキューバイネットワークを用い、標準のCPCとは異なり、1つの正例ではなく複数の正例を同時に特定するマルチラベル分類問題として対照的予測コーディングを再定式化する。
• 重み付けを見直したML-CPC（re-weighted ML-CPC）を導入し、正例と負例の影響を調整することで、log mを超える有効な上界を達成しつつも、下界の性質を維持する。
• 特定の重み選択条件下で、提案された目的関数が相互情報量の有効な下界のまま保たれることを理論的に保証する。
• クエリと複数のキーレプリゼンテーション間の類似度スコアを出力するキューバイネットワークを用い、複数の正例ペairに対する交差エントロピー損失を最適化することで学習を実施する。
• 再重み付けされたML-CPCでは、段階的に識別する正例数を増やすカリキュラム学習スケジュールを採用し、訓練の安定性と性能を向上させる。
• 最小限の計算コスト増で、MI推定、知識蒸留、自己教師付き表現学習に本手法を適用する。

実験結果

リサーチクエスチョン

• RQ1 マルチラベル分類フレームワークは、標準的対照学習のlog mの制限を超えるMI推定の上界を改善できるか？
• RQ2 log mの上界を超えることができるが、依然として有効なMIの下界を保つことは可能か？
• RQ3 再重み付けされたML-CPCは、標準CPCおよび最先端の知識蒸留手法と比較して、下流の表現学習タスクで優れた性能を示すか？
• RQ4 ML-CPCは、厳密な計算およびメモリ制約下でも優れた性能を達成できるか？
• RQ5 カリキュラム学習スケジュールは、ML-CPCの訓練ダイナミクスおよび最終的な性能にどのような影響を与えるか？

主な発見

• CIFAR-100を用いた13のタスクのうち10で、ML-CPCは現在の最先端の知識蒸留手法を上回り、顕著な実験的利得を示した。
• CIFAR-10では、1000エポック後、線形分類精度が70.03%に達し、標準CPCおよび他のベースラインを著しく上回った。
• 計算制約のあるImageNet環境（30エポックのみ）でも、ML-CPCはトップ-1精度43.86%を達成し、標準CPCおよび他のベースラインを上回った。
• 再重み付けされたML-CPCの目的関数は、理論的分析により、分布に依存しない高信頼性MI推定器の理論的限界に非常に近い上界を達成した。
• 計算コストを固定したまま、標準的な1つの正例制約を超えて有効なmを増やすことで、相互情報量推定のバイアスが低減された。
• カリキュラム学習を組み込んだML-CPCの変種は、CIFAR-10およびImageNetの両方で性能を向上させ、低リソース環境への一般化可能性を示した。