[論文レビュー] Unifying Question Answering, Text Classification, and Regression via Span Extraction

Nitish Shirish Keskar, Bryan McCann+2 more|arXiv (Cornell University)|Apr 19, 2019

Topic Modeling参考文献 30被引用数 28

ひとこと要約

本稿では、スパン抽出を共通の出力メカニズムとして用いる統一フレームワークを、質問応答（QA）、テキスト分類、回帰の3つのタスクに提案する。すべての3つのタスクを共通のBERTベースのアーキテクチャでスパン抽出問題に再定式化することで、特に低データおよびマルチタスク設定において、優れたもしくは同等の性能を達成し、タスク固有の出力ヘッドが不必要かつ非効率であることを示している。

ABSTRACT

Even as pre-trained language encoders such as BERT are shared across many tasks, the output layers of question answering, text classification, and regression models are significantly different. Span decoders are frequently used for question answering, fixed-class, classification layers for text classification, and similarity-scoring layers for regression tasks, We show that this distinction is not necessary and that all three can be unified as span extraction. A unified, span-extraction approach leads to superior or comparable performance in supplementary supervised pre-trained, low-data, and multi-task learning experiments on several question answering, text classification, and regression benchmarks.

研究の動機と目的

• 自然言語処理モデルにおけるタスク固有の出力ヘッド（例：分類層や回帰層）を排除すること。
• 質問応答、テキスト分類、回帰を、単一のスパン抽出フレームワークで統一すること。
• スパン抽出を用いる際、中間タスク学習（STILTs）が、すべての3つのタスクタイプにおいて性能を向上させるかを評価すること。
• マルチタスク学習において、質問応答とテキスト分類のデータセットを組み合わせることによるクロスタスク転送を検討すること。
• 限られた学習データ下でのスパン抽出アプローチのロバスト性を評価すること。

提案手法

• 入力シーケンスにクラスラベルやバケツ化された値を付加することで、テキスト分類および回帰タスクをスパン抽出問題に再定式化する。
• 入力テキストをエンコードするために事前学習済みBERTエンコーダを使用し、スパン抽出を入力シーケンス上の開始トークンと終了トークンの予測によって実行する。
• 分類タスクでは、すべてのクラスラベルを入力テキスト内のスパン候補として含める。回帰タスクでは、離散化された値のバケツを候補とする。
• 中間タスク学習（STILTs）を適用し、最終的なタスク微調整の前に補助タスクで微調整する。同じスパン抽出ヘッドを用いる。
• すべてのタスクを共有パラメータと単一のスパン抽出ヘッドを用いて、完全に統合されたマルチタスクモデルを訓練する。
• タスク固有の分類層や類似度層を用いずに、標準的なスパン抽出損失（例：開始位置および終了位置における交差エントロピー）を最適化する。

実験結果

リサーチクエスチョン

• RQ1 テキスト分類および回帰タスクを、共通のスパン抽出フレームワークによって質問応答タスクと効果的に統一できるか？
• RQ2 中間タスク学習（STILTs）は、スパン抽出モデルに適用した場合、QA、分類、回帰のすべてのタスクタイプにおいて性能を向上させるか？
• RQ3 マルチタスク学習において、質問応答とテキスト分類のデータセットを組み合わせることで、単独で使用する場合よりも高い性能が得られるか？
• RQ4 完全に統合されたスパン抽出モデルは、潜在的な負の転送の影響を受けても、タスク固有のモデルを上回る性能を発揮するか？
• RQ5 限られたデータ下では、スパン抽出アプローチは従来のタスク固有のヘッドと比べてどのように比較されるか？

主な発見

• スパン抽出アプローチは、GLUEベンチマークにおいてタスク固有のモデルを上回るか同等の性能を示し、特に低データおよびマルチタスク設定で顕著である。
• 中間タスク学習（STILTs）は、スパン抽出を用いる際、すべての3つのタスクタイプにおいて顕著に性能を向上させ、従来の分類および回帰ヘッドを超える有効性を示している。
• 質問応答とテキスト分類のデータセットをマルチタスク学習で組み合わせることで、両方のタスクで性能が向上し、一部のタスクでは9%を超える精度向上が得られた。
• 完全に統合されたスパン抽出モデルは、単一タスクモデルよりも優れたマルチタスク性能を達成したが、SQuAD や MNLI のような個別タスクでは性能が劣ることも示され、マルチタスク学習におけるトレードオフが明らかになった。
• 限られた学習データ下では、スパン抽出アプローチがタスク固有のヘッドよりもロバストであり、一般化性能が向上することが示された。
• より単純で簡潔な入力フォーマット（例：短いクラス説明）は、詳細な説明よりも優れた性能を示し、スパン探索空間の縮小によるものである。