[論文レビュー] Taking Notes on the Fly Helps BERT Pre-training

Qiyu Wu, Xing Chen+4 more|arXiv (Cornell University)|Aug 4, 2020

Topic Modeling参考文献 33被引用数 4

ひとこと要約

本稿では、初回出現時に希少語の文脈表現を動的ノート辞書に保存することで、再出現時に文間の意味的豊かさを向上させることで、BERTおよびELECTRAの事前学習効率を向上させるTaking Notes on the Fly (TNF)という手法を提案する。TNFは、同等の性能を達成しながら事前学習時間を60%短縮し、ほとんどの下流タスクでベースラインモデルを上回る。特にELECTRAでは、平均GLUEスコアで0.8ポイントの向上を達成した。

ABSTRACT

How to make unsupervised language pre-training more efficient and less resource-intensive is an important research direction in NLP. In this paper, we focus on improving the efficiency of language pre-training methods through providing better data utilization. It is well-known that in language data corpus, words follow a heavy-tail distribution. A large proportion of words appear only very few times and the embeddings of rare words are usually poorly optimized. We argue that such embeddings carry inadequate semantic signals, which could make the data utilization inefficient and slow down the pre-training of the entire model. To mitigate this problem, we propose Taking Notes on the Fly (TNF), which takes notes for rare words on the fly during pre-training to help the model understand them when they occur next time. Specifically, TNF maintains a note dictionary and saves a rare word's contextual information in it as notes when the rare word occurs in a sentence. When the same rare word occurs again during training, the note information saved beforehand can be employed to enhance the semantics of the current sentence. By doing so, TNF provides better data utilization since cross-sentence information is employed to cover the inadequate semantics caused by rare words in the sentences. We implement TNF on both BERT and ELECTRA to check its efficiency and effectiveness. Experimental results show that TNF's training time is $60\%$ less than its backbone pre-training models when reaching the same performance. When trained with the same number of iterations, TNF outperforms its backbone methods on most of downstream tasks and the average GLUE score. Source code is attached in the supplementary material.

研究の動機と目的

• 希少語の埋め込みが劣悪であることに起因するデータ利用の非効率性を解消し、特に埋め込みが不十分な希少語に対して、事前学習の効率を向上させること。
• 希少語がもつノイジーで最適化が不十分な埋め込みが、モデルの収束を妨げるという非効率性を是正すること。
• 希少語の文間コンテキストを活用することで、モデル性能を損なわず事前学習時間を短縮すること。
• 特にリソースが限られた下流タスクにおいて、微調整のためのより効果的な初期化を提供すること。

提案手法

• 事前学習中に、キーを希少語、値を初回出現時の文脈表現とするノート辞書を維持する。
• 希少語が再び出現した際には、その保存済みノートを用いて、現在の文における文脈表現を豊かにする。
• 順伝搬処理中に、ノートベースの表現を入力埋め込み層に統合し、影響度を制御するための学習可能なゲート機構を用いる。
• ノート表現を逆誤差伝搬により微分可能にすることで、事前学習中にノート辞書を動的に更新・最適化する。
• アーキテクチャへの変更を最小限に抑え、追加の微調整オーバーヘッドを伴わず、BERTおよびELECTRAアーキテクチャに適用可能である。
• 希少語を識別するためのしきい値ベースの検出メカニズムを用いる。

実験結果

リサーチクエスチョン

• RQ1 希少語の文間コンテキスト信号を活用することで、事前学習中のデータ利用効率が向上するか？
• RQ2 即座にノートを生成することで希少語の表現を豊かにすることにより、性能を維持または向上させながら事前学習時間を短縮できるか？
• RQ3 TNFは、特にリソースが限られたデータセットにおいて、下流タスクへの一般化性能にどのように影響を与えるか？
• RQ4 微調整時にノート辞書を保持するか更新するかが、モデル性能に与える影響は何か？
• RQ5 ノート更新頻度や希少語の含めるためのしきい値といったハイパーパrameterに、TNFのパフォーマンスはどれほど感度を示すか？

主な発見

• TNFは、バックボーンモデル（BERTおよびELECTRA）と比較して、同等の性能に到達するまでの事前学習時間を60%短縮した。
• 同じイテレーション数で学習した場合、TNFはGLUEタスクの8つのうち7つでバックボーンモデルを上回り、ELECTRAでは平均GLUEスコアで0.8ポイントの向上を達成した。
• CoLAタスクでは、BERTに対して1.2ポイント、ELECTRAに対して0.8ポイントのF1スコア向上を示し、リソースが限られたタスクにおける強力な一般化性能を示した。
• 希少語を含む文の検証用MLM損失は、ノートを使用した場合（TNF with notes < BERT < TNF without notes）が最小となり、ノートにモデルパラメータに捕捉されない有用な意味的信号が含まれていることが確認された。
• 微調整時にノートを固定するTNF-Fとノートを更新するTNF-Uの両方とも、ベースラインを上回ったが、TNF自体にやや劣る性能を示した。これは、事前学習データと微調整データの分布シフトが原因であると考えられる。
• 感度分析の結果、TNFのパフォーマンスは異なるハイパーパrameter設定に対しても安定しており、頑健性が確認された。