[論文レビュー] Learning Robust, Transferable Sentence Representations for Text Classification

Wasi Uddin Ahmad, Xueying Bai+2 more|arXiv (Cornell University)|Sep 28, 2018

Topic Modeling参考文献 38被引用数 3

ひとこと要約

本論文は、複数のテキスト分類データセット上で文エンコーダーを同時に学習することで、一般化された言語的特徴とタスク固有の知識を分離することにより、頑健で転送可能な文表現を学ぶマルチタスク学習フレームワークを提案する。事前学習された文脈依存語表現（ELMo）と別のマルチタスク文エンコーダー（GenSen）とを組み合わせることで、15の転移学習タスクおよび10の言語的プロービングタスクで最先端の性能を達成し、優れたサンプル効率性と一般化能力を示している。

ABSTRACT

Despite deep recurrent neural networks (RNNs) demonstrate strong performance in text classification, training RNN models are often expensive and requires an extensive collection of annotated data which may not be available. To overcome the data limitation issue, existing approaches leverage either pre-trained word embedding or sentence representation to lift the burden of training RNNs from scratch. In this paper, we show that jointly learning sentence representations from multiple text classification tasks and combining them with pre-trained word-level and sentence level encoders result in robust sentence representations that are useful for transfer learning. Extensive experiments and analyses using a wide range of transfer and linguistic tasks endorse the effectiveness of our approach.

研究の動機と目的

• 教師ありデータが限られるテキスト分類の課題に対処するため、再訓練なしに転送可能な文表現を学ぶ。
• 複数の異種のテキスト分類データセットからの同時学習により、文表現の頑健性と転送可能性を向上させる。
• マルチタスク学習フレームワーク内での敵対的訓練を用いて、一般化された言語的特徴（例：文法、意味）とタスク固有の知識を分離する。
• 事前学習された文脈依存語表現（ELMo）と補完的なマルチタスク文エンコーダー（GenSen）とを統合することで、性能を向上させる。

提案手法

• SNLI（自然言語推論）、QQP（質問類似度）および第三の多様なテキスト分類データセットを用い、大規模なテキスト分類データセット3つでマルチタスク文エンコーダーを学習し、ドメインの多様性を確保する。
• 共有表現とタスク固有の表現を分離するための敵対的訓練戦略を採用し、一般化性能と転送可能性を向上させる。
• 一般化された言語的特徴のための共有エンコーダーと、ドメイン固有の知識のためのプライベートエンコーダーを用い、各転移タスクに応じて動的に寄与度を重み付けるアテンションベースの統合手法を採用する。
• MTLベースの文エンコーダーをELMo（文脈依存語表現）とGenSen（マルチタスク文エンコーダー）と統合し、統一された文表現モデルを構築する。
• 下流の転移タスクに統一エンコーダーを適用し、シンプルな分類ヘッドを用いることで、最小限の教師ありデータでエンドツーエンドの微調整が可能になる。
• 学習された表現が捉えている言語的性質（例：文法、意味）を分析するため、言語的プロービングタスクを用いる。

実験結果

リサーチクエスチョン

• RQ1 複数のテキスト分類タスクにまたがる文表現の同時学習は、単一タスクの事前学習に比べ、頑健性と転送可能性を向上させるか？
• RQ2 敵対的訓練は、文エンコーダーにおいて一般化された言語的特徴とタスク固有の知識を効果的に分離できるか？
• RQ3 文表現と文脈依存語表現の統合は、個別のコンponentsに比べ、転移学習およびプロービングタスクでどれほど優れた性能を示すか？
• RQ4 教師ありデータが限られる状況下で、提案手法のサンプル効率性はどの程度高いか？
• RQ5 提案された統一文エンコーダーが、どの言語的性質（例：構文的、意味的）を最もよく捉えているか？

主な発見

• MTLベースの文エンコーダー（Sent2Vec）は、InferSentなどの単一タスクモデルを上回り、ELMoとGenSenと組み合わせることで15の転移学習タスクで最先端の結果を達成した。SST-2データセットでは平均正解率91.0を記録した。
• 統一エンコーダー（Sent2Vec + GenSen + ELMo）は、全10の言語的プロービングタスクで最高の性能を示し、CoordInvでは平均正解率73.3、SOMOでは71.1を記録し、ELMoやInferSentを上回った。
• SST-2およびSICK-Eタスクでは、提案手法が顕著に高いサンプル効率性を示し、5,000未満のラベル付き例で、再訓練から開始する場合よりも優れた性能を達成した。
• 敵対的訓練により、共有エンコーダーへのアテンション重みがほとんどの転移タスクで低くなったことから、一般化された表現とタスク固有の表現の分離が効果的に行われたことが示された。
• SNLI固有のエンコーダーは、ほとんどの転移タスクで高いアテンション重みを示しており、多様なテキスト分類タスクに強い一般化能力を有していることが確認された。
• MTL文エンコーダーとELMo、GenSenの組み合わせが、全体として最高の性能を発揮した。これは、異なる事前学習目的から得られる補完的な学習信号が、頑健性と転送可能性を向上させることを示している。