[論文レビュー] PAC-Bayesian Contrastive Unsupervised Representation Learning

Kento Nozawa, Pascal Germain+1 more|arXiv (Cornell University)|Oct 10, 2019

Domain Adaptation and Few-Shot Learning参考文献 30被引用数 5

ひとこと要約

本稿は、非独立同分布（non-iid）設定への拡張を可能にするPAC-Bayes理論を活用して、対照的自己教師あり表現学習（CURL）のためのPAC-Bayesianフレームワークを導入する。Aroraらの一般化境界を非i.i.d.設定に拡張し、新たな非自明な一般化境界を導出し、それらを最小化する新しいアルゴリズムを提案。CIFAR-100およびAUSLANにおいて、先行研究と比較してよりタイトで意味のある一般化保証を達成する、競争力のある性能を発揮する。

ABSTRACT

Contrastive unsupervised representation learning (CURL) is the state-of-the-art technique to learn representations (as a set of features) from unlabelled data. While CURL has collected several empirical successes recently, theoretical understanding of its performance was still missing. In a recent work, Arora et al. (2019) provide the first generalisation bounds for CURL, relying on a Rademacher complexity. We extend their framework to the flexible PAC-Bayes setting, allowing us to deal with the non-iid setting. We present PAC-Bayesian generalisation bounds for CURL, which are then used to derive a new representation learning algorithm. Numerical experiments on real-life datasets illustrate that our algorithm achieves competitive accuracy, and yields non-vacuous generalisation bounds.

研究の動機と目的

• 対照的自己教師あり表現学習（CURL）における理論的理解の不足、特に非i.i.d.設定における課題を解決すること。
• Aroraらのラデマッハーベース一般化境界を、より柔軟かつ適用可能なPAC-Bayesフレームワークに拡張すること。
• CURLのための新たな非自明な一般化境界を導出し、その境界を用いて頑健なモデルを学習可能とすること。
• これらのPAC-Bayesian境界を最小化する基盤となる新しい表現学習アルゴリズムを開発すること。
• 提案手法を実データセット上で実証的に検証し、競争力のある性能と非自明な一般化境界を示すこと。

提案手法

• 非i.i.d.データ分布を許容する対照的自己教師あり表現学習のためのPAC-Bayesianフレームワークを採用し、一般化境界を導出する。
• 一般化境界を経験的リスク、事前分布と事後分布のKLダイバージェンス、および正則化項の関数として定式化する。
• 境界をモデル重みの事後分布を学習するための目的関数として用い、不確実性を考慮した表現学習を可能にする。
• 表現ネットワーク重みの上にパrameterized事後分布（正規分布）を導入し、平均と分散を確率的勾配降下法で最適化する。
• PAC-Bayesian境界を最小化する訓練手順を実装し、リスクと複雑さのバランスを取るハイパーパrameter λ を含む。
• 実データセット（CIFAR-100およびAUSLAN）に本手法を適用し、異なる事後分布選択戦略（s-valid, det-valid, PB）の間で性能と境界を比較する。

実験結果

リサーチクエスチョン

• RQ1 PAC-Bayesian一般化境界を、i.i.d.および非i.i.d.両設定における対照的自己教師あり表現学習に成功裏に拡張できるか？
• RQ2 PAC-Bayesian境界を最小化することは、非自明な一般化保証を持つ実用的で効果的な表現学習アルゴリズムを導くか？
• RQ3 先行研究でラデマッハ複雑度を用いて導出された境界と比較して、提案境界のタイトさと実験的性能はどのように異なるか？
• RQ4 本手法は、実世界のデータセットにおいて、非自明な一般化境界を維持しながらも、競争力のある下流分類精度を達成できるか？
• RQ5 異なる事後分布選択戦略（例：PB対 det-valid）は、一般化境界と教師あり精度のトレードオフにどのような影響を及えるか？

主な発見

• 提案されたPAC-Bayesian一般化境界は、CIFAR-100およびAUSLANの両方で非自明であり、特にPB（PAC-Bayes）パラメータ選択基準で最もタイトな境界が達成された。
• CIFAR-100では、PB法がテスト精度68.7%（TOP-1）および88.9%（TOP-5）を達成し、最先端のCURL手法と同等の性能を示した。
• PB法の一般化境界はCIFAR-100で0.437、AUSLANで0.361であり、ベースラインの境界と比べて顕著にタイトだった。
• すべてのモデルにおいて、経験的リスクとテストリスクの差が一貫して小さく、境界最小化プロセスが過学習を引き起こしにくいことが示された。
• PB法は最もタイトな境界を達成したが、バリデーションセットベースの手法と比較してわずかに低い教師あり精度を示し、保守的な学習行動であることが示唆された。
• 事後分布と事前のKLダイバージェンスは顕著に低減された（例：CIFAR-100ではPBで1,333、s-validで32,756）ことから、より良い事後正則化が実現された。