[論文レビュー] Functional Regularization for Representation Learning: A Unified Theoretical Perspective

Siddhant Garg, Yingyu Liang|arXiv (Cornell University)|Aug 6, 2020

Domain Adaptation and Few-Shot Learning被引用数 6

ひとこと要約

本稿では、関数的正則化を通じた表現学習の統一的理論枠組みを提案する。教師ありでない、または自己教師ありの補助タスクが、ラベルなしデータ上で学習可能な正則化子として機能し、表現の仮説空間を縮小する。この枠組みは、モデル容量を制約することにより、ラベル付きデータの必要量を削減できることを示しており、実験的検証では、限られたラベル付きデータでも事前学習済みBERTがランダム初期化BERTを上回ることを示している。

ABSTRACT

Unsupervised and self-supervised learning approaches have become a crucial tool to learn representations for downstream prediction tasks. While these approaches are widely used in practice and achieve impressive empirical gains, their theoretical understanding largely lags behind. Towards bridging this gap, we present a unifying perspective where several such approaches can be viewed as imposing a regularization on the representation via a learnable function using unlabeled data. We propose a discriminative theoretical framework for analyzing the sample complexity of these approaches, which generalizes the framework of (Balcan and Blum, 2010) to allow learnable regularization functions. Our sample complexity bounds show that, with carefully chosen hypothesis classes to exploit the structure in the data, these learnable regularization functions can prune the hypothesis space, and help reduce the amount of labeled data needed. We then provide two concrete examples of functional regularization, one using auto-encoders and the other using masked self-supervision, and apply our framework to quantify the reduction in the sample complexity bound of labeled data. We also provide complementary empirical results to support our analysis.

研究の動機と目的

• 近年の実験的成功にもかかわらず、教師なしおよび自己教師あり表現学習手法の背後にある理論的理解の欠如に取り組む。
• 自己符号化器やマスキング自己教師ありなど、多様な表現学習アプローチを、関数的正則化の共通の理論的枠組みで統一する。
• 本枠組み下でのラベル付きデータのサンプル複雑度を分析し、ラベルなしデータがラベル付きデータの必要量を顕著に削減する条件を同定する。
• 固定の正則化関数ではなく、学習可能な正則化関数を許容することで、先行研究を一般化する判別的PACスタイルの理論枠組みを提供する。
• 合成データおよび実データを用いたアブレーションスタディを含め、事前学習済みBERTを用いた理論的主張の実証的検証を行う。

提案手法

• 表現学習におけるラベル付きおよびラベルなしデータのサンプル複雑度を制限する判別的PACスタイルの枠組みを提案する。
• 表現学習を、ラベルなしデータから誘導された学習可能な正則化関数が、表現の仮説空間を制約するプロセスとしてモデル化する。
• 正則化関数を固定ではなく学習可能とする点で、先行の半教師あり学習枠組みを一般化し、自己教師あり手法へのより広範な適用性を実現する。
• 自己符号化器とマスキング自己教師あり（例：BERT風事前学習）の2つの具体的な例に枠組みを適用し、明示的なサンプル複雑度の境界を導出する。
• 仮説クラスの縮小という議論を用いて、関数的正則化が有効なモデル容量を低下させ、一般化に必要なラベル付きデータ量を減らすことを示す。
• 合成データおよび実世界データを用いた実験的評価を実施し、正則化項を含むランダム初期化と比較して、事前学習済みBERTの微調整を実施する。

実験結果

リサーチクエスチョン

• RQ1 表現学習において、どのような条件下でラベルなしデータがラベル付きデータのサンプル複雑度を低減できるか？
• RQ2 ラベルなしデータから導出された学習可能な正則化関数は、表現の仮説空間をどのように制約するか？
• RQ3 マスキング予測や再構成といった自己教師ありタスクからの関数的正則化は、ラベル付きデータの必要量をどの程度低減できるか？
• RQ4 大規模なラベルなしデータ（例：BERT）で事前学習したモデルと、固定されたノルムペナルティを適用したランダム初期化モデルとを比較した場合、サンプル効率の観点でどちらが優れているか？
• RQ5 多様な自己教師あり表現学習手法を、関数的正則化という共通の原則の下に統一する理論枠組みは可能か？

主な発見

• すべてのラベル付きデータサイズにおいて、事前学習済みBERTはランダム初期化BERTを著しく上回る性能を示しており、大規模なラベルなし事前学習による関数的正則化の恩恵を実証している。
• MRPCデータセットでは、事前学習済みBERTを微調整した結果、3,668件の訓練サンプルで80.3％の正確度と85.7％のF1スコアを達成し、L1またはL2ペナルティを追加したランダム初期化モデルでさえも上回った。
• ラベル付きデータが少ない場合、事前学習済みBERTの性能向上は限定的であるため、関数的正則化による仮説空間の大部分の縮小が事前に達成されていることが示唆される。
• L1またはL2ペナルティを適用したランダム初期化モデルは、ランダム初期化と比べて限定的な改善にとどまり、固定されたノルムペナルティは事前学習による構造的インダクティブバイアスに比べて不十分であることを示している。
• BERTの重みを固定し、分類器のみを微調整した場合、小規模なデータセットでは収束が著しく悪いことが確認され、表現空間を探索する必要があり、ラベルなしデータからの関数的正則化が効率的な学習に不可欠であることが裏付けられた。
• 理論的枠組みは、関数的正則化が有効な仮説クラスのサイズを低下させ、結果としてラベル付きデータのサンプル複雑度を低下させることを示しており、事前学習済みモデルとランダム初期化モデルの性能差によって実証的に裏付けられている。