[論文レビュー] Transfer Learning for Neural Semantic Parsing

Xing Fan, Emilio Monti+2 more|arXiv (Cornell University)|Jun 14, 2017

Topic Modeling参考文献 24被引用数 12

ひとこと要約

本稿では、大量のラベル付きデータを有する補助的タスクからの転移学習を活用して、リソースが限られた意味解析タスクのパフォーマンスを向上させる、ニューラル意味解析のためのマルチタスク・シーケンス・ツー・シーケンス枠組みを提案する。特に、構文解析や他の意味形式を補助タスクとして用いることで、エンコーダ、デコーダ、アテンションのパラメータをタスク間で共有することにより、自社データでは1.0–4.4%、ATISでは最大7.0%の絶対的精度向上を達成した。これは、異なる形式間で共有される表現が一般化性能およびモデル性能を顕著に向上させることを示している。

ABSTRACT

The goal of semantic parsing is to map natural language to a machine interpretable meaning representation language (MRL). One of the constraints that limits full exploration of deep learning technologies for semantic parsing is the lack of sufficient annotation training data. In this paper, we propose using sequence-to-sequence in a multi-task setup for semantic parsing with a focus on transfer learning. We explore three multi-task architectures for sequence-to-sequence modeling and compare their performance with an independently trained model. Our experiments show that the multi-task setup aids transfer learning from an auxiliary task with large labeled data to a target task with smaller labeled data. We see absolute accuracy gains ranging from 1.0% to 4.4% in our in- house data set, and we also see good gains ranging from 2.5% to 7.0% on the ATIS semantic parsing tasks with syntactic and semantic auxiliary tasks.

研究の動機と目的

• 意味解析における注釈付き学習データの不足という課題に取り組むこと、特にリソースが限られた意味形式に対して。
• 小規模なラベル付きデータセットを用いたターゲット意味解析タスクのパフォーマンスを向上させるために、マルチタスク・シーケンス・ツー・シーケンスモデリングによる転移学習が有効であるかを調査すること。
• 意味解析のマルチタスク学習における、異なるパラメータ共有戦略（例：1対多、1対1、1対共有多）の有効性を評価すること。
• 構文解析などの補助タスクが、意味解析のパフォーマンス向上に意味のある誘導的バイアスを提供するかを検討すること。
• 異なる意味形式間で共有される表現が、モデルの一般化性能を向上させ、データ依存性を低減することを実証すること。

提案手法

• 本稿では、意味解析と構文解析を含む複数のタスク間でパラメータを共有する、シーケンス・ツー・シーケンスのエンコーダ・デコーダアーキテクチャを採用している。
• 3つのマルチタスクアーキテクチャが検討された：1対多（共有エンコーダ、個別デコーダ）、1対1（共有エンコーダおよびデコーダ）、1対共有多（共有エンコーダ、共有デコーダ、共有アテンション）。
• 自然言語入力を意味表現に変換するために、ゲート付き再帰ユニット（GRUs）とアテンション機構を用いた。
• 転移学習は、ターゲット意味解析タスクと、豊富なラベル付きデータを有する1つ以上の補助タスクを同時に学習することで実現された。
• 学習率、ドロップアウト、バッチサイズといったハイパーパrameterはタスクごとに最適化され、マルチタスク学習時にはモデル容量を増強した。
• 評価における表記一致の向上を図るため、後処理として波括弧の整合性チェックと重複削除が行われた。

実験結果

リサーチクエスチョン

• RQ1 訓練データが限られている状況下で、共有されるシーケンス・ツー・シーケンスコンポONENTを用いたマルチタスク学習が、意味解析の精度向上に寄与するか？
• RQ2 構文解析タスクを補助タスクとして用いることで、意味解析のパフォーマンスに顕著な向上が得られるか？
• RQ3 異なるパラメータ共有戦略（例：共有エンコーダ、共有アテンション）が、モデルのパフォーマンスおよび学習効率に与える影響はいかほどか？
• RQ4 大規模な意味形式（例：EviMRL）からの転移学習が、より小さなターゲット意味形式のパフォーマンス向上に寄与するか？
• RQ5 異なる意味形式間で共有される表現が、ニューラル意味解析における一般化性能をどの程度向上させるか？

主な発見

• エンコーダ、デコーダ、アテンション機構をタスク間で共有する1対共有多アーキテクチャは、1対多設定と比較して15%のパラメータ削減を達成し、最良のパフォーマンスを示した。
• 1万～20万件の訓練例を有する自社データセットでは、マルチタスクモデルが独立ベースラインと比較して1.0%～4.4%の絶対的精度向上を達成した。
• ATISベンチマークでは、WSJの構文的構文解析を補助タスクとして用いることで、精度が77.2%から79.7%に上昇し、相対的に2.5%の向上を達成した。
• EviMRLデータ（100万件を超えるインスタンス）を第3の補助タスクとして追加することで、ATISの精度は84.2%に上昇し、最先端のパフォーマンスに達した。
• 構文的および意味的補助タスクを併用した場合、ATISでは7.0%の相対的精度向上を達成し、マルチタスク転移学習の有効性を示した。
• EviMRLタスクでさえ、ATISタスクと同時に学習させることで1.3%の絶対的精度向上を達成した。これは、異なる形式間でのデータ共有が一般化性能を向上させることを支持する。