[論文レビュー] Semi-Supervised Sequence Modeling with Cross-View Training

Kevin B. Clark, Minh-Thang Luong+2 more|arXiv (Cornell University)|Sep 22, 2018

Topic Modeling参考文献 68被引用数 20

ひとこと要約

本論文は、自己教師あり学習を用いた序列モデルのための半教師あり学習手法であるCross-View Training (CVT) を提案する。CVTは、ラベルなし入力の制限付きビューにのみアクセスする補助予測ヘッドを訓練することで、完全なモデルからの予測と一致させることで、Bi-LSTM表現を向上させる。CVTは、序列タグ付け、機械翻訳、依存構文解析の5つのタスクで最先端の結果を達成し、自己教師あり学習とマルチタスク学習を統合的に最適化することで、表現を向上させる。

ABSTRACT

Unsupervised representation learning algorithms such as word2vec and ELMo improve the accuracy of many supervised NLP models, mainly because they can take advantage of large amounts of unlabeled text. However, the supervised models only learn from task-specific labeled data during the main training phase. We therefore propose Cross-View Training (CVT), a semi-supervised learning algorithm that improves the representations of a Bi-LSTM sentence encoder using a mix of labeled and unlabeled data. On labeled examples, standard supervised learning is used. On unlabeled examples, CVT teaches auxiliary prediction modules that see restricted views of the input (e.g., only part of a sentence) to match the predictions of the full model seeing the whole input. Since the auxiliary modules and the full model share intermediate representations, this in turn improves the full model. Moreover, we show that CVT is particularly effective when combined with multi-task learning. We evaluate CVT on five sequence tagging tasks, machine translation, and dependency parsing, achieving state-of-the-art results.

研究の動機と目的

• 表現学習の段階でタスク固有のラベルデータを活用しない、事前学習手法の制限を克服すること。
• 標準的な自己学習が自己言及的であるのを回避すること（モデルが自身の予測で学習するが、強力な正則化がない）。
• 入力データを変更せずに、未ラベルテキストを効果的に活用して、序列モデルの文脈的表現を向上させる手法を開発すること。
• 入力の部分的ビューを観測する補助予測モジュールを導入することで、NLPにおける効果的な半教師あり学習を可能にすること。
• CVTがマルチタスク学習とシームレスに統合可能であることを示し、性能向上とトレーニング時間の短縮を実現すること。

提案手法

• ラベル付きデータに対して標準的な教師あり学習で主なBi-LSTMエンコーダーを訓練する。
• 未ラベル例において、部分的な表現（例：前方LSTM状態のみ）を入力として受ける補助予測モジュールを訓練する。
• 完全なモデルの予測結果をソフトターゲットとして用い、複数のビュー間の一貫性を強制する。
• 補助モジュールから勾配をバックプロパゲートし、共有された中間表現を通じて、共有エンコーダーの品質を向上させる。
• 同じ共有エンコーダーの上に異なるタスク用の追加予測ヘッドを追加することで、CVTとマルチタスク学習を統合する。
• 完全なモデル（教師）が補助モジュール（生徒）を学習する知識蒸留スタイルの訓練を実施し、ビューの多様性により入力の摂動に対してロバストになるように促進する。

実験結果

リサーチクエスチョン

• RQ1 入力データを変更せずに、未ラベルデータを活用することで、序列モデルの表現を向上させる半教師あり学習手法は有効か？
• RQ2 入力の制限付きビューにのみアクセスする補助モデルを訓練することで、標準的な自己学習や事前学習よりも優れた文脈的表現が得られるか？
• RQ3 CVTはマルチタスク学習と効果的に統合可能で、性能向上とトレーニング時間の短縮を実現できるか？
• RQ4 離散的入力を用いたNLPタスクにおいて、CVTは一貫性正則化や adversarial training と比較して性能に優れるか？
• RQ5 複数のビュー一貫性を持つ予測ヘッドを用いることで、序列モデルにおけるよりロバストで汎化性の高い表現が得られるか？

主な発見

• CVTは、名前付きエンティティ認識、品詞タグ付け、テキストチャンク化、依存構文解析、結合カテゴリカル文法のスーパー�tTaggingの5つの序列タグ付けタスクで最先端の性能を達成した。
• 英語→ベトナム語機械翻訳タスクにおいても、以前に発表された結果を上回る性能を示し、CVTが序列タグ付けを越えて有効であることを示した。
• マルチタスク学習と組み合わせた場合、CVTはマルチタスクELMoモデルを上回る性能を示した一方で、合計トレーニング時間を短縮した。
• CVTは、序列タグ付け用のBi-LSTMエンコーダーや、序列変換モデルを含む多様なアーキテクチャに有効に適用可能である。
• CVTは、部分的な入力ビューにわたる一貫性を強制することで、モデルがロバストで文脈を豊かに含む特徴を学習するよう促し、表現品質を著しく向上させた。
• 本手法は、入力の摂動や単語埋め込みのノイズを必要としないため、離散的テキスト入力に適したロバストで汎用性の高いものである。