[論文レビュー] A Mutual Information Maximization Perspective of Language Representation Learning

Lingpeng Kong, Cyprien de Masson d’Autume+4 more|arXiv (Cornell University)|Oct 18, 2019

Topic Modeling参考文献 31被引用数 81

ひとこと要約

この論文は単語表現学習をInfoNCEによる相互情報量最大化として再定義し、Skip-gram、BERT、XLNetを統一し、InfoWordという自己教師付き目的を導入する。DIMとMLMを組み合わせて下流タスクのGLUEやSQuADを改善。

ABSTRACT

We show state-of-the-art word representation learning methods maximize an objective function that is a lower bound on the mutual information between different parts of a word sequence (i.e., a sentence). Our formulation provides an alternative perspective that unifies classical word embedding models (e.g., Skip-gram) and modern contextual embeddings (e.g., BERT, XLNet). In addition to enhancing our theoretical understanding of these methods, our derivation leads to a principled framework that can be used to construct new self-supervised tasks. We provide an example by drawing inspirations from related methods based on mutual information maximization that have been successful in computer vision, and introduce a simple self-supervised objective that maximizes the mutual information between a global sentence representation and n-grams in the sentence. Our analysis offers a holistic view of representation learning methods to transfer knowledge and translate progress across multiple domains (e.g., natural language processing, computer vision, audio processing).

研究の動機と目的

• 単語表現学習に対して統一的で情報理論的な見方を動機づける。
• Skip-gram、BERT、 XLNet が相互情報量最大化目的を近似することを示す。
• 新しい自己教師付きタスクを作成するための一般的で拡張可能な枠組みを提供する。
• グローバル文表現と局所的n-gramの相互情報量を結合する新しい目的を示す。

提案手法

• Skip-gram、BERT、XLNet を相互情報量のInfoNCE下限(I(A,B))の実例として位置づける。
• f_theta(a,b)=g_psi(b)ᵀg_omega(a) を用いてビュー間表現をスコアリングする。
• MLMと置換ベースの目的がInfoNCE視点にどのように適合するかを導出する。
• グローバル文表現と局所的n-gram間の相互情報量を最大化する新しい自己教師付き目的(DIMベース)を提案する。
• I_InfoWord = lambda_MLM * I_MLM + lambda_DIM * I_DIM のように、DIM項とマスク済み言語モデリング項の加重結合としてInfoWordを導入する。
• InfoNCEにおける大語彙ソフトマックスの効率的な近似としてネガティブサンプリングがどのように機能するかを示す。

実験結果

リサーチクエスチョン

• RQ1 相互情報量最大化の視点は伝統的および現代の言語表現学習法を統一できるか？
• RQ2 この枠組みの中で言語表現を改善する新しい自己教師付きタスクは何か作成できるか？
• RQ3 グローバルなDIM目的とMLMを組み合わせることは、標準的なBERT系の事前学習と比べて下流のNLPタスクを改善するか？
• RQ4 提案されたInfoWord法は、BERT系のバリアントと比べてGLUEとSQuADでどの程度の性能を示すか？

主な発見

モデル	CoLA	SST-2	MRPC	QQP	MNLI	QNLI	RTE	GLUE
Base BERT	52.1	93.5	88.9	71.2	84.6/83.4	90.5	66.4	78.8
Base BERT-NCE	50.8	93.0	88.6	70.5	83.2/83.0	90.9	65.9	78.2
Base InfoWord	53.3	92.5	88.7	71.0	83.7/82.4	91.4	68.3	78.9
Large BERT	60.5	94.9	89.3	72.1	86.7/85.9	92.7	70.1	81.5
Large BERT-NCE	54.7	93.1	89.5	71.2	85.8/85.0	92.7	72.5	80.6
Large InfoWord	57.5	94.2	90.2	71.3	85.8/84.8	92.6	72.0	81.1

• InfoNCEベースのフレーミングはSkip-gram、BERT、XLNetを相互情報量最大化の実例として統一する。
• 単純な新しい目的(DIM)により、グローバルな文表現とその局所的n-gram表現を整合させて学習できる。
• I_MLMとI_DIMを組み合わせたInfoWordは、GLUEとSQuADでBERT-NCEを上回る結果をもたらし、特に長いフレーズ理解が必要なタスクで有利。
• 再実装のバリエーション(BERT-NCE)は、一部の設定で元のBERTと競合するが、マスキングとデータ提示の違いにより他では劣る。
• 実験はInfoWordの優位性が小規模な学習データで最も顕著であることを示しており、ラベル付きデータが不足する場合の事前学習品質の役割を強調する。