[論文レビュー] Fake Sentence Detection as a Training Task for Sentence Encoding

Viresh Ranjan, Hee Young Kwon+2 more|arXiv (Cornell University)|Aug 11, 2018

Topic Modeling参考文献 13被引用数 4

ひとこと要約

本稿では、文埋め込みモデルの新たな教師なし学習タスクとして、語の入れ替えや削除によって文を改ざんして偽のバージョンを作成する「なりすまし文検出」を提案する。モデルは本物の文と偽の文を区別するように学習され、6400万文で学習されたSkipthoughtと同等の性能を達成するが、100万文のデータで20時間以内に学習が完了する。

ABSTRACT

Sentence encoders are typically trained on language modeling tasks with large unlabeled datasets. While these encoders achieve state-of-the-art results on many sentence-level tasks, they are difficult to train with long training cycles. We introduce fake sentence detection as a new training task for learning sentence encoders. We automatically generate fake sentences by corrupting original sentences from a source collection and train the encoders to produce representations that are effective at detecting fake sentences. This binary classification task turns to be quite efficient for training sentence encoders. We compare a basic BiLSTM encoder trained on this task with a strong sentence encoding models (Skipthought and FastSent) trained on a language modeling task. We find that the BiLSTM trains much faster on fake sentence detection (20 hours instead of weeks) using smaller amounts of data (1M instead of 64M sentences). Further analysis shows the learned representations capture many syntactic and semantic properties expected from good sentence representations.

研究の動機と目的

• 言語モデルに基づく既存の教師なし文埋め込み手法が長い学習時間と高い計算コストを要する問題に対処すること。
• 小さなデータ量と高速収束を実現できる、偽の文を検出する判別型二値分類タスクが、効果的な文表現を生成できるかどうかを検討すること。
• なりすまし文検出が、大規模言語モデルで学習された最先端モデルと同等またはそれ以上の構文的・意味的性質を捉えられるかどうかを評価すること。
• 大量のデータと長時間の学習サイクルに依存せず、下流の文レベルタスクでの性能を維持または向上させること。

提案手法

• 語の入れ替え（ランダムに2語を入れ替える）および語の削除（ランダムに1語を削除する）の2つの汚染手法を用いて、なりすまし文を生成する。
• 各例が本物の文か、それと元の文から派生した改ざん済み文（偽）であるような二値分類データセットを構築する。
• 符号化された表現の上に3層の全結合ネットワークを用いて、入力文が本物か偽かを予測するBiLSTMベースの文埋め込みモデルを訓練する。
• 2048次元の隠れ状態を持つ1層のBiLSTMと、事前学習済みの300次元GloVe埋め込みを語表現に用いる。
• バッチサイズ64でSGDを用い、15エポックの学習を実施。1つのGPUで20時間以内に収束する。
• 下流タスク（NLI、画像キャプション検索、構文的・意味的性質のプローブタスクなど）で学習済み表現を評価する。

実験結果

リサーチクエスチョン

• RQ1 小さな制御された文の摂動（なりすまし文）を検出する二値分類タスクが、文埋め込みモデルの教師なし事前学習目的として効果的であるか。
• RQ2 なりすまし文検出で学習したBiLSTMの性能は、Skipthought や FastSent といった強力なベースラインと比較して、下流の文レベルタスクでどのように差がつくか。
• RQ3 なりすまし文検出で学習した表現が、文の構文的および意味的性質をどの程度正確に捉えられるか。
• RQ4 6400万文ではなく100万文のデータと20時間以内の学習時間で、最先端のモデルと同等の結果を達成できるか。

主な発見

• なりすまし文検出で学習したBiLSTMモデルは、7つのNLIタスクのうち5つでSkipthought（6400万文で学習）を上回り、COCOデータセットのキャプション検索および画像検索タスクでも優れた性能を示した。
• 語の入れ替えと語の削除の両方のなりすまし文検出バージョンが、10のプローブタスクのうち6つでSkipthoughtを上回る精度を達成し、特に語の内容（WC）、バイグラムの入れ替え（BShift）、意味的異常検出（SOMO）のタスクで顕著な向上を示した。
• なりすまし文学習法により、Skipthoughtが何週間も要する学習時間を1つのGPUで20時間以内に短縮した。また、6400万文ではなく100万文のデータで学習が可能となった。
• 木の深さ（TreeDepth）のような構文的プローブタスクでは、語の入れ替えバージョンがSkipthoughtを顕著に上回った。
• なりすまし文検出で学習した表現は、意味的・構文的摂動に対してより感度が高く、バイグラムの入れ替えや意味的異常の検出タスクでも高い精度を示した。
• 100万文の小規模データセットで学習したにもかかわらず、本物のBookCorpus全量で学習したSkipthoughtを複数の評価設定で上回り、データ効率性と頑健性を示した。