[論文レビュー] Unsupervised Learning of Sentence Representations Using Sequence Consistency

Siddhartha Brahma|arXiv (Cornell University)|Aug 10, 2018

Topic Modeling参考文献 21被引用数 6

ひとこと要約

本稿では、文の系列の一貫性を保つように訓練することで、一貫性のある文系列と変更された文系列を区別する文エンコーダーを学習する非教師あり手法ConsSentを提案する。6種類のトークンレベルの摂動とペairワイズのマージ制約を通じて系列の一貫性を強制することで、ConsSentは転移学習および言語的プロービングタスクで最先端の性能を達成し、非教師ありおよび教師ありのベースラインを上回る。アンサンブルモデルではSentEvalベンチマークで平均84.7のスコアを達成した。

ABSTRACT

Computing universal distributed representations of sentences is a fundamental task in natural language processing. We propose ConsSent, a simple yet surprisingly powerful unsupervised method to learn such representations by enforcing consistency constraints on sequences of tokens. We consider two classes of such constraints -- sequences that form a sentence and between two sequences that form a sentence when merged. We learn sentence encoders by training them to distinguish between consistent and inconsistent examples, the latter being generated by randomly perturbing consistent examples in six different ways. Extensive evaluation on several transfer learning and linguistic probing tasks shows improved performance over strong unsupervised and supervised baselines, substantially surpassing them in several cases. Our best results are achieved by training sentence encoders in a multitask setting and by an ensemble of encoders trained on the individual tasks.

研究の動機と目的

• 外部ラベルを必要とせずに普遍的な文表現を学習するシンプルでありながら効果的な非教師あり手法の開発。
• トークンの系列およびその摂動に対する一貫性制約を強制することで、文表現の品質を向上させること。
• マルチタスク学習およびモデルアンサンブルが、頑健な文エンコーダーを学習する上でどれほど効果的であるかを評価すること。
• 転移学習および言語的プロービングタスクにおいて、強力な非教師ありおよび教師ありベースラインと比較しての性能をベンチマークすること。

提案手法

• 本手法は、文エンコーダーを、一貫性のある文と6種類の摂動バージョン（削除、順序入れ替え、挿入、置換、および2種類の文ペアマージング：連続的および非連続的分割）を区別するように訓練する。
• 一貫性は、系列が有効な文を形成する場合、および2つの系列をマージすると有効な文が得られる場合に定義される。
• BillionWordコーパスからの文に摂動を適用して不一致例（ネガティブ例）を生成し、元の文をポジティブ例として使用する。
• 複数の文エンコーダーを、個々の一貫性タスク（例：系列一貫性、ペア一貫性）で訓練し、マルチタスク学習またはモデルアンサンブルによって統合する。
• 最終的なモデルは、ニューラルネットワークエンコーダー（例：BiLSTM）を用い、ポジティブペアでの一致を最大化し、ネガティブペアでの不一致を最大化するコントラスト学習目的関数を採用する。
• 性能評価は、転移学習および言語的プロービングタスクを含む20の下流タスクで実施するSentEvalベンチマークを用いて行う。

実験結果

リサーチクエスチョン

• RQ1 トークン系列およびその摂動に対する一貫性制約を強制することで、非教師あり文表現の学習は向上するか？
• RQ2 単一系列およびペア系列の両方の一貫性タスクで学習することにより、学習された文表現の品質はどのように変化するか？
• RQ3 マルチタスク学習およびモデルアンサンブルは、単一タスク学習に比べて、非教師あり文表現学習でどの程度性能を向上させるか？
• RQ4 提案手法は、転移および言語的プロービングベンチマークにおいて、強力な教師ありおよび非教師ありベースラインと比較してどのように評価されるか？

主な発見

• ConsSentモデルのアンサンブルは、SentEvalベンチマークで平均84.7のスコアを達成し、最良の単一モデル（ConsSent-R(2)で81.9）および既存の非教師あり手法を顕著に上回った。
• マルチタスク設定で学習されたConsSent-MT(3)は、平均82.4のスコアを達成し、QuickThoughtsを約7ポイント上回り、NLIおよび機械翻訳タスクで教師ありベースラインを上回った。
• 単一系列で学習したモデル（例：ConsSent-D, ConsSent-R）は、ペア系列で学習したモデル（例：ConsSent-C, ConsSent-N）よりも一貫して優れた性能を示し、非ペアの一貫性から強いインダクティブバイアスが得られていることが示された。
• 最良の個別モデルであるConsSent-R(2)は、平均81.9のスコアを達成した。一方、ConsSent-D(5)は10の言語的プロービングタスクのうち5つで最高スコアを記録した。
• 言語モデル化の目的関数ベースラインは、平均スコアが60未満にとどまり、LMオンリーファンタリングの文表現学習における限界を示した。
• ConsSent-R(2)およびアンサンブルモデルは、大多数のタスクで教師ありのSeq2Treeモデルよりも高い平均スコアを達成し、提案手法の非教師ありアプローチの有効性を示した。