[論文レビュー] Conditional BERT Contextual Augmentation

Xing Wu, Shangwen Lv+3 more|arXiv (Cornell University)|Dec 17, 2018

Topic Modeling参考文献 27被引用数 13

ひとこと要約

本論文では、ラベルに条件付けられたマスク言語モデル（C-MLM）を用いてBERTを微調整することで、意味的に整合的でラベルに適合する文の変種を生成する、新しいデータ拡張手法「条件付きBERTコンテキスト拡張」を提案する。この手法は、CNNおよびRNN分類器の両方に対して、6つのデータセットでテキスト分類性能を顕著に向上させ、既存のベースラインを上回り、スタイル転送への応用を可能にする。

ABSTRACT

We propose a novel data augmentation method for labeled sentences called conditional BERT contextual augmentation. Data augmentation methods are often applied to prevent overfitting and improve generalization of deep neural network models. Recently proposed contextual augmentation augments labeled sentences by randomly replacing words with more varied substitutions predicted by language model. BERT demonstrates that a deep bidirectional language model is more powerful than either an unidirectional language model or the shallow concatenation of a forward and backward model. We retrofit BERT to conditional BERT by introducing a new conditional masked language model\footnote{The term "conditional masked language model" appeared once in original BERT paper, which indicates context-conditional, is equivalent to term "masked language model". In our paper, "conditional masked language model" indicates we apply extra label-conditional constraint to the "masked language model".} task. The well trained conditional BERT can be applied to enhance contextual augmentation. Experiments on six various different text classification tasks show that our method can be easily applied to both convolutional or recurrent neural networks classifier to obtain obvious improvement.

研究の動機と目的

• 既存のテキストデータ拡張手法が、語の置換時にラベル互換性を維持できないという限界に対処すること。
• ラベルに条件付けられた予測を用いて、BERTの深層双方向表現を活用したコンテキスト拡張の向上。
• 畳み込みニューラルネットワークおよび再帰ニューラルネットワーク分類器に適用可能な汎用的データ拡張フレームワークの開発。
• 条件付きBERTの潜在的可能性を、分類を越えて特にスタイル転送タスクにおいて探求すること。

提案手法

• 文のラベルに条件付けられた両方の文脈とラベルに基づいて語の予測を行う、新しい条件付きマスク言語モデル（C-MLM）の目的関数を用いてBERTを微調整する。
• 入力文のトークンをランダムにマスクし、ラベルに適合する置換語を予測するようにモデルを学習する。
• 微調整された条件付きBERTモデルを用いて、マスクされた語を予測されたラベル適合置換語に置き換えることで、拡張されたトレーニングサンプルを生成する。
• 拡張されたデータを用いて、テキスト分類タスクにおけるCNNおよびRNN分類器を学習する。
• 入力ラベルを逆転させることで、同じC-MLMメカニズムを用いて逆の感情を持つ文を生成することで、条件付きBERTモデルをスタイル転送に適応させる。
• 注目に基づく手法を用いて文におけるスタイル関連語を特定し、それらをマスク・置換することで感情スタイルを転送する。

実験結果

リサーチクエスチョン

• RQ1 ラベル互換性を保持するデータ拡張を生成するために、深層双方向トランスフォーマーに基づく言語モデルを効果的に微調整できるか？
• RQ2 条件付きBERTコンテキスト拡張は、既存の置換ベースおよびコンテキスト拡張手法と比較して、テキスト分類タスクにおける性能でどのように差をつけるか？
• RQ3 条件付きBERTモデルは、下流分類タスクにおいて、異なるニューラルネットワークアーキテクチャ（例：CNN対RNN）にどの程度一般化できるか？
• RQ4 目的の感情ラベルに条件付けたことで、条件付きBERTモデルをスタイル転送に再利用できるか？
• RQ5 条件付きBERTが標準BERTを上回るデータ拡張において、最適な微調整ステップ数は何か？

主な発見

• 条件付きBERTコンテキスト拡張は、CNNおよびRNN分類器の両方を用いて、6つの多様なテキスト分類データセットで分類精度を顕著に向上させる。
• 同義語置換（WordNetを用いる）、コンテキスト拡張（文脈を用いる）、ラベルに条件付けられたコンテキスト拡張（文脈＋ラベルを用いる）といったベースライン手法を上回る。
• わずか1〜6エポックの微調整で性能向上を達成しており、高い効率性と導入の容易さを示している。
• モデルは強力な一般化性能を示しており、標準BERTを上回るための微調整エポック数は、データセットおよび分類器に応じて1〜6の範囲で変動する。
• 感情を逆転させつつ文構造と文脈を保持する文を生成することで、条件付きBERTは成功裏にスタイル転送を実行できる。
• SST2データセットにおける定性的な例により、条件付きBERTモデルは意味的に整合的でラベルに適合する文の変種を生成していることが検証された。