[論文レビュー] Multi-task learning to improve natural language understanding

Stefan Constantin, Jan Niehues+1 more|arXiv (Cornell University)|Dec 17, 2018

Topic Modeling参考文献 14被引用数 5

ひとこと要約

本稿では、航空会社旅行の合成データと映画・テレビの字幕から得たオフドメインの実データを同時に学習することで、自然言語理解の性能を向上させるマルチタスク学習手法を提案する。注意機構を備えたシーケンス・ツー・シーケンスモデルにおいてエンコーダーをタスク間で共有することで、小規模な合成航空会社旅行データセットにおいてF1スコアを80.76%から84.98%まで向上させ、微調整なしで一般化性能が向上することを示した。

ABSTRACT

Recently advancements in sequence-to-sequence neural network architectures have led to an improved natural language understanding. When building a neural network-based Natural Language Understanding component, one main challenge is to collect enough training data. The generation of a synthetic dataset is an inexpensive and quick way to collect data. Since this data often has less variety than real natural language, neural networks often have problems to generalize to unseen utterances during testing. In this work, we address this challenge by using multi-task learning. We train out-of-domain real data alongside in-domain synthetic data to improve natural language understanding. We evaluate this approach in the domain of airline travel information with two synthetic datasets. As out-of-domain real data, we test two datasets based on the subtitles of movies and series. By using an attention-based encoder-decoder model, we were able to improve the F1-score over strong baselines from 80.76 % to 84.98 % in the smaller synthetic dataset.

研究の動機と目的

• 航空会社旅行のような低リソースドメインにおける自然言語理解（NLU）のための、ドメイン内学習データが限られているという課題に対処すること。
• 合成データセットで学習されたニューラルNLUモデルの一般化性能を向上させること、特に言語的多様性に欠ける傾向があることへの対策。
• オフドメインの実データ（例：映画の字幕）をドメイン内合成データと併用して学習することで、性能向上が図れるかどうかを評価すること。
• シーケンス・ツー・シーケンスモデルにおける共有エンコーダーを用いたマルチタスク学習の有効性を検証すること。
• マルチタスク学習後に微調整を施すことで、ドメイン内NLUタスクの性能がさらに向上するかどうかを評価すること。

提案手法

• ドメイン内合成データとオフドメイン実データ（OpenSubtitles QAおよび対話データセット）の両方で、共有の埋め込み層およびエンコーダー層を持つ、注意機構を備えたエンコーダー・デコーダー・モデルを採用する。
• 最適化中の perplexity の急上昇を回避するため、複数のミニバッチグループにわたる勾配蓄積を用いて学習を安定化させる。
• Adam最適化手法を採用し、1つのミニバッチグループごとに1つのタスクを処理する学習スケジュールを設定するが、tグループ分の勾配を蓄積して、tステップごとに重みを更新する。
• まずマルチタスクモデルを学習し、その後同じ学習データを用いてドメイン内タスクで微調整を実施する。
• ATISベンチマークのテストセットを用いてF1スコアと意図認識精度を評価し、単一タスクベースラインと比較する。
• 評価には2つの合成データセット（ATIS smallおよびmedium）と2つのオフドメインデータセット（OpenSubtitles QAおよび対話）を用いる。

実験結果

リサーチクエスチョン

• RQ1 ドメイン内合成データとオフドメイン実データを併用して学習することで、自然言語理解タスクのF1スコアが向上するか？
• RQ2 マルチタスクシーケンス・ツー・シーケンスモデルにおいて、エンコーダー層のみを共有することは、全パrameterの共有や共有なしの手法よりも優れた一般化性能をもたらすか？
• RQ3 合成データのみが利用可能な状況で、マルチタスク学習は単一タスク学習と比べてどのように異なるか？
• RQ4 マルチタスク学習後に微調整を施すことで、ドメイン内NLUタスクの性能がさらに向上するか？
• RQ5 ノイズが多い、もしくは構造的に不一致のあるオフドメインデータ（例：QAと対話）であっても、ドメイン内NLUに有用なインダクティブバイアスを提供できるか？

主な発見

• マルチタスク学習手法により、ATIS small合成データセットにおいてF1スコアが80.76%から84.98%まで向上し、単一タスクベースライン比で4.22ポイントの向上を達成した。
• より大きなATIS mediumデータセットでは、OpenSubtitles 対話データセットを用いたマルチタスクモデルがF1スコア93.27%を達成し、実ATISデータで学習した単一タスクモデル（93.62%）と比較してわずか0.35ポイントの差にとどまった。
• 最も性能の高かったマルチタスクモデル（OpenSubtitles 対話データセット使用）は、ATIS smallデータセットでテストF1スコア84.98%を達成し、単一タスクベースラインを4.22ポイント上回った。
• マルチタスク学習後に微調整を実施してもF1スコアに顕著な向上は見られず、マルチタスクモデルがすでに十分な性能を達成していることが示唆された。
• OpenSubtitles QAデータセットを用いたモデルは、ATIS smallデータセットでテストF1スコア83.08%を達成し、ベースライン比で2.32ポイントの向上を示した。
• 意図認識精度についても顕著な向上が見られ、ATIS smallデータセットでOpenSubtitles 対話データセットを用いたマルチタスク学習により1.79ポイントの向上が得られた。