[論文レビュー] A Theoretical Analysis of Contrastive Unsupervised Representation Learning

Sanjeev Arora, Hrishikesh Khandeparkar+3 more|arXiv (Cornell University)|Feb 25, 2019

Domain Adaptation and Few-Shot Learning参考文献 24被引用数 258

ひとこと要約

本論文は対照的な自己教師付き表現学習の理論フレームワークを提示し、意味的類似性を形式化するために潜在クラスを導入し、平均分類器を用いた下流の線形分類に対する一般化保証を証明し、複数のネガティブおよびブロック類似性の拡張を実験的に検証した。

ABSTRACT

Recent empirical works have successfully used unlabeled data to learn feature representations that are broadly useful in downstream classification tasks. Several of these methods are reminiscent of the well-known word2vec embedding algorithm: leveraging availability of pairs of semantically "similar" data points and "negative samples," the learner forces the inner product of representations of similar pairs with each other to be higher on average than with negative samples. The current paper uses the term contrastive learning for such algorithms and presents a theoretical framework for analyzing them by introducing latent classes and hypothesizing that semantically similar points are sampled from the same latent class. This framework allows us to show provable guarantees on the performance of the learned representations on the average classification task that is comprised of a subset of the same set of latent classes. Our generalization bound also shows that learned representations can reduce (labeled) sample complexity on downstream tasks. We conduct controlled experiments in both the text and image domains to support the theory.

研究の動機と目的

• 潜在クラスを介して意味的類似性を形式化し、下流タスクがこれらのクラスの部分集合を構成することを示す。
• 対照的な自己教師付き損失で学習された表現が、平均分類器を用いた監視付き損失の平均を低くすることを証明する。
• ラデマッハー複雑性に基づく学習表現の一般化境界を提供する。
• ネガティブサンプリングの限界を調査し、より大きな類似点のブロックを活用する拡張を提案する。
• テキストおよび画像領域での統制実験を通じて理論を検証する。）
• method2 hindi_placeholder: null}
• method:[

提案手法

• 同じ潜在クラスから抽出された対のクラス分布rhoを用いて、類似性を定義する。
• 同様サンプルとネガティブサンプルを用いて無監視対照損失L_unを導入し、線形分類器を用いた監視付き損失L_supを定義する。
• L_supがL_unの関数と一般化項Gen_Mによって境界付けられることを示す（ラデマッハー平均を介して）。
• 各行がクラス平均μ_cである平均分類器W^μを用いて、自己教師付きと監視付き損失を結びつける。
• 性能保証へのクラス衝突(tau)とクラス内偏差s(f)の影響を分析する。
• フレームワークをk個のネガティブサンプルおよびサンプルのブロックを平均化するブロックベースの類似性損失へ拡張する。

実験結果

リサーチクエスチョン

• RQ1 無監視対照損失を最小化することで、良好な監視付き（線形）分類性能が得られる条件は何か？
• RQ2 クラス衝突(tau)とクラス内変動(s(f))は、対照学習が提供する保証にどのように影響するか？
• RQ3 複数のネガティブサンプルおよびブロックベースの類似性を取り入れて、保証と実践を改善できるか？
• RQ4 対照学習の限界は何か、拡張により完全監視表現に対する競争力のある保証を回復できるか？

主な発見

• 代理関係が確立される：潜在クラス全体で平均すると、低い無監視損失は低い監視付き性能を意味する。
• 境界は、広い条件の下でL_sup^μ()がL_un^{neq}(f)とクラス内偏差s(f)によって制御できることを示し、Gen_Mが有限サンプル効果を捉える。
• ネガティブサンプリングはクラス衝突により限界を持つ。フレームワークは、これらが悪影響を及ぼす時期とそれを緩和する方法を定量化する。
• ペアではなく類似点のブロックを使用することにより、より厳密な境界と潜在的な実証的改善が得られる。
• この分析は、テキストおよび画像領域での統制実験によって理論的枠組みを裏付けている。