[論文レビュー] Deep Multitask Learning for Semantic Dependency Parsing

Hao Peng, Sam Thomson+1 more|arXiv (Cornell University)|Apr 22, 2017

Natural Language Processing Techniques参考文献 60被引用数 23

ひとこと要約

本論文は、共有双向LSTMと多層パーセプトロンを用いて、弧スコアリングに用いることで、DM、PAS、PSDの3つの形式を同時にモデル化する深層マルチタスク学習フレームワークを提案する。形式間でパラメータを共有し、高階の構造的依存関係をモデル化することで、構文的特徴量や手作業で設計された表現に依存せずに、SemEval 2015の広域カバレッジ意味的従属構文解析タスクで最先端の性能を達成した。

ABSTRACT

We present a deep neural architecture that parses sentences into three semantic dependency graph formalisms. By using efficient, nearly arc-factored inference and a bidirectional-LSTM composed with a multi-layer perceptron, our base system is able to significantly improve the state of the art for semantic dependency parsing, without using hand-engineered features or syntax. We then explore two multitask learning approaches---one that shares parameters across formalisms, and one that uses higher-order structures to predict the graphs jointly. We find that both approaches improve performance across formalisms on average, achieving a new state of the art. Our code is open-source and available at https://github.com/Noahs-ARK/NeurboParser.

研究の動機と目的

• 複数の意味的形式間で共有表現を活用することで、意味的従属構文解析の性能を向上させること。
• マルチタスク学習により、異なる形式間の構造的・意味的類似性を活用することで、意味的解析におけるデータ不足問題を緩和すること。
• 手作業で設計された特徴量や構文解析に依存しない神経ネットワークアーキテクチャを構築すること。
• パラメータ共有と構造的相互作用を通じて、複数形式の共同モデリングが解析精度を向上させるかを検証すること。
• 限定的な並列アノテーションを有する低リソースな意味的解析シナリオにおけるマルチタスク学習の有効性を評価すること。

提案手法

• 入力文を符号化し、各形式の意味的弧スコアリングを実行するために、双向LSTMに続く多層パーセプトロンを用いる。
• 効率的な有向ラベル付き従属構造グラフのデコードのため、ほぼ弧要因化推論を採用する。
• 共有エンコーダー内で形式間でパラメータを共有することで、共通する言語的パターンを活用する。
• 共有出力構造を用いて、複数形式のグラフを同時に予測する高階構造モデリング手法を導入する。
• アーキテクチャと述語予測の交差エントロピー損失を用いてエンドツーエンドで学習し、デコードにはビームサーチを適用する。
• パラメータ共有と共同構造モデリングを、直交するマルチタスク学習戦略として評価する。

実験結果

リサーチクエスチョン

• RQ1 複数の意味的形式間でパラメータ共有をすることで、低リソース環境下での解析性能が向上するか？
• RQ2 形式間で構造的依存関係を共同でモデリングすることで、独立した解析よりも一般化性能が向上するか？
• RQ3 形式間の構造的類似性（例：DM対PAS対PSD）がマルチタスク学習性能に与える影響は何か？
• RQ4 パイプラインアプローチと比較して、マルチタスク学習は誤差伝搬をどの程度軽減するか？
• RQ5 1つの神経ネットワークアーキテクチャが、構文的スーパービジョンなしで複数の意味的形式を効果的に処理できるか？

主な発見

• 構文的特徴量を一切使用しない本手法のベースモデルは、SemEval 2015共有タスクの3形式すべてで最先端の性能を達成した。
• 形式間でのパラメータ共有により、平均してラベルなしF1スコアが0.2–0.3ポイント向上し、構造的に類似度の高い形式（DMとPAS）ではより顕著な向上が得られた。
• 高階構造の共同モデリングによりさらなる性能向上が得られ、特にラベルなしF1スコアで顕著で、両方のマルチタスク戦略を組み合わせた際が最良の結果を出した。
• 開発セットでは、DMで91.9%、PASで93.4%、PSDで88.6%のラベルなしF1スコアを達成し、先行システムを上回った。
• 構造的分析の結果、PSDはDMやPASとは異なり、弧の方向性が顕著に異なることが判明し、方向性モデリングによる利点がPSDでは小さいことが説明された。
• 方向性構造をモデリングした際のPSDにおける性能低下は、方向性の不一致が共同学習を妨げる可能性を示しており、今後の研究ではより選択的な構造モデリングの必要性が示唆された。