[論文レビュー] Variance-reduced Language Pretraining via a Mask Proposal Network

Liang Chen|arXiv (Cornell University)|Aug 12, 2020

Topic Modeling参考文献 24被引用数 9

ひとこと要約

本稿では、自己教師付き言語事前学習における勾配分散を低減するため、一様なランダムマスキングではなく、情報量の多いマスキング位置を学習的に選択するマスクプロポーザルネットワーク、MAP-Netを提案する。勾配ノルムに比例する重要度サンプリング分布を近似することで、収束を加速させ、GLUEベンチマークでBERTの1000kステップに相当する精度を600kステップで達成する。

ABSTRACT

Self-supervised learning, a.k.a., pretraining, is important in natural language processing. Most of the pretraining methods first randomly mask some positions in a sentence and then train a model to recover the tokens at the masked positions. In such a way, the model can be trained without human labeling, and the massive data can be used with billion parameters. Therefore, the optimization efficiency becomes critical. In this paper, we tackle the problem from the view of gradient variance reduction. In particular, we first propose a principled gradient variance decomposition theorem, which shows that the variance of the stochastic gradient of the language pretraining can be naturally decomposed into two terms: the variance that arises from the sample of data in a batch, and the variance that arises from the sampling of the mask. The second term is the key difference between selfsupervised learning and supervised learning, which makes the pretraining slower. In order to reduce the variance of the second part, we leverage the importance sampling strategy, which aims at sampling the masks according to a proposal distribution instead of the uniform distribution. It can be shown that if the proposal distribution is proportional to the gradient norm, the variance of the sampling is reduced. To improve efficiency, we introduced a MAsk Proposal Network (MAPNet), which approximates the optimal mask proposal distribution and is trained end-to-end along with the model. According to the experimental result, our model converges much faster and achieves higher performance than the baseline BERT model.

研究の動機と目的

• 一様なランダムマスキングによる非効率性が自己教師付き言語事前学習における高い勾配分散と遅い収束を引き起こすという問題に対処すること。
• 事前学習における勾配分散を、データバッチとマスキングサンプリングの2つの成分に正式に分解し、後者を低減することに焦点を当てる。
• 情報量が多く影響力のあるマスキング位置をサンプリングする、微分可能でエンドツーエンドで訓練可能なマスクプロポーザルネットワーク（MAP-Net）を設計すること。
• 追加のラベル付きデータを必要とせず、最適化の分散を低減することで、事前学習の効率と下流タスクのパフォーマンスを向上させること。
• 分散低減された事前学習が、標準的なNLPベンチマークでより速い収束と高い精度を実現できることを示すこと。

提案手法

• 勾配分散の原理的分解定理を提案し、分散をデータバッチとマスキングサンプリングの2つの成分に分離する。
• 最適なマスキングサンプリング確率が勾配ノルムに比例する重要度サンプリングを、分散低減戦略として導入する。
• 文を入力として受け取り、マスキング位置に対する確率分布を出力する神経ネットワークとしてMAP-Netを設計する。
• モデルの損失を勾配ノルムの代理として用い、マスキング選択をガイドする逆伝播的アプローチで、MAP-Netとメインモデルを同時に訓練する。
• 強化学習を避けるために、異なるマスキング入力における相対的パフォーマンスに基づくペairwise順序学習を用いてMAP-Netを最適化する。
• MAP-Netが困難なマスクを生成し、高い損失を引き起こすように学習する、分離された訓練目的を採用する。

実験結果

リサーチクエスチョン

• RQ1 言語事前学習における勾配分散を、データサンプリングとマスキングサンプリングに関連する明確な成分に正式に分解できるか？
• RQ2 非一様な重要度サンプリングに基づくマスキング分布を用いることで、自己教師付き事前学習における最適化分散が低減され、収束が加速するか？
• RQ3 学習可能なマスクプロポーザルネットワーク（MAP-Net）は、マスキングサンプリングの最適な重要度分布を効果的に近似できるか？
• RQ4 BERTにおける一様マスキングと比較して、MAP-Netを用いた訓練は収束を早め、下流タスクのパフォーマンスを向上させるか？
• RQ5 MAP-Netは意味的に意味のある、情報量の多いトークン（例：コンテンツ語や語形変化形）を適切にマスク選択できるか？

主な発見

• MAP-Netは、情報量の多いマスキング位置を学習的に選択することで、事前学習における勾配分散を顕著に低減し、収束を高速化する。
• MAP-Netを用いて訓練されたモデルは、800kステップでGLUE平均スコア82.11を達成し、BERTの1000kステップでの81.68を上回る。
• MAP-Netモデルの600kステップチェックポイントは、BERTの1000kステップチェックポイントの性能に相当し、同等のパフォーマンスを達成するための訓練ステップを25%削減した。
• 可視化結果から、MAP-Netは名詞や動詞などのコンテンツ語を優先してマスクし、語形変化形（例：'computer', 'computing', 'computation'）の重複マスキングを避ける傾向があることが示された。これは、より深い文脈的学習を促進する。
• 本手法は、事前学習コストとエネルギー消費量を低減し、計算リソースの無駄を減らすことで、環境持続可能性に貢献する。
• 本アプローチは複数の下流タスクに有効であり、RTE、SST-2、QNLI、および全体のGLUEベンチマークで一貫した改善が得られた。