[論文レビュー] The Natural Language Decathlon: Multitask Learning as Question Answering

Bryan McCann, Nitish Shirish Keskar+2 more|arXiv (Cornell University)|Jun 20, 2018

Topic Modeling参考文献 106被引用数 339

ひとこと要約

この論文は decaNLP（十のタスクを質問応答として再定義したマルチタスクベンチマーク）と、MQAN（複数タスクQAモデル）を紹介します。MQAN は複数のタスクを横断して優れた性能を発揮するマルチポインター-ジェネレータデコーダを備え、転移とゼロショットの能力を可能にします。

ABSTRACT

Deep learning has improved performance on many natural language processing (NLP) tasks individually. However, general NLP models cannot emerge within a paradigm that focuses on the particularities of a single metric, dataset, and task. We introduce the Natural Language Decathlon (decaNLP), a challenge that spans ten tasks: question answering, machine translation, summarization, natural language inference, sentiment analysis, semantic role labeling, zero-shot relation extraction, goal-oriented dialogue, semantic parsing, and commonsense pronoun resolution. We cast all tasks as question answering over a context. Furthermore, we present a new Multitask Question Answering Network (MQAN) jointly learns all tasks in decaNLP without any task-specific modules or parameters in the multitask setting. MQAN shows improvements in transfer learning for machine translation and named entity recognition, domain adaptation for sentiment analysis and natural language inference, and zero-shot capabilities for text classification. We demonstrate that the MQAN's multi-pointer-generator decoder is key to this success and performance further improves with an anti-curriculum training strategy. Though designed for decaNLP, MQAN also achieves state of the art results on the WikiSQL semantic parsing task in the single-task setting. We also release code for procuring and processing data, training and evaluating models, and reproducing all experiments for decaNLP.

研究の動機と目的

• 統一されたマルチタスクベンチマーク（decaNLP）を提案するため、十の多様なNLPタスクを文脈を介した質問応答として位置づける。
• タスク特化モジュールを持たない単一のマルチタスクQAネットワークMQANを開発し、全てのdecaNLPタスクを共同学習させる。
• decaNLPでのマルチタスク学習に起因する転移学習、ドメイン適応、およびゼロショット能力を実証する。
• 抗カリキュラム訓練がマルチタスク性能をさらに向上させ、MQANが意味解析の単一タスクにおいても強力な結果を達成することを示す。

提案手法

• 文脈・質問・回答の三つ組みで、QA問題として十のNLPタスクを再設定する（QA、翻訳、要約、NLI、感情分析、SRL、関係抽出、対話、意味解析、代名詞解決）。
• 双方向共注意エンコーダを備え、文脈と質問を同時に注意付けし、外部語彙から生成したり、文脈からコピーしたり、質問からコピーすることができる多重ポインター-ジェネレータデコーダを持つMQANを提案する。
• anti-curriculum戦略とともにすべてのdecaNLPタスクでMQANを訓練し、そのゼロショットおよび転移能力を分析する。
• タスク固有の指標をdecaScore（各タスク0-100）に対応付けて評価し、十タスクを横断して集計する。
• 再現性とリーダーボード追跡のために、オープンソースのコードとデータ処理パイプラインを提供する。

Figure 1: Overview of the decaNLP dataset with one example from each decaNLP task in the order presented in Section 2 . They show how the datasets were pre-processed to become question answering problems. Answer words in red are generated by pointing to the context, in green from the question, and i

実験結果

リサーチクエスチョン

• RQ1 十の多様なNLPタスクをQAとしてフレーム化した単一モデルが、タスク特化モジュールなしで全タスクにおいて競争力のある性能を発揮できるか。
• RQ2 decaNLPでのマルチタスク学習は、トレーニング分布を超えた新しいドメイン、言語、関連タスクへの転移学習の利点をもたらすか。
• RQ3 コピー、生成、質問ベースの曖昧性解決を要するタスクで、マルチポインター-ジェネレータデコーダがどのように性能に寄与するか。
• RQ4 カリキュラム訓練と抗カリキュラム訓練戦略が、decaNLPの性能と安定性にどのような影響を与えるか。

主な発見

• MQAN は decaNLP の複数タスクにおいて、マルチタスク設定と単一タスク設定の両方で競争力のある性能を達成する。
• マルチポインター-ジェネレータデコーダは、文脈および質問からの効果的なコピーと、外部語彙からの生成を可能にし、出力ニーズが異なるタスクにとって重要である。
• 抗カリキュラム訓練は、完全に結合訓練だけを行う場合よりも、decaNLP の性能を向上させる。
• decaNLP で事前学習した MQAN は、機械翻訳および固有表現認識における転移利益、感情分析および自然言語推論のドメイン適応、テキスト分類のゼロショット能力を示す。
• MQAN は単一タスク設定の WikiSQL の意味解析で最先端の結果を達成する。

Figure 2: Overview of the MQAN model. It takes in a question and context document, encodes both with a BiLSTM, uses dual coattention to condition representations for both sequences on the other, compresses all of this information with another two BiLSTMs, applies self-attention to collect long-dista