[論文レビュー] Semantic Tagging with Deep Residual Networks

Johannes Bjerva, Barbara Plank+1 more|arXiv (Cornell University)|Sep 22, 2016

Natural Language Processing Techniques参考文献 39被引用数 62

ひとこと要約

本論文は、多言語的意味解析のための新しい意味的タグ付けタスク（sem-tagging）を導入し、ワードと文字の統合表現を用いた深層残差ネットワーク（ResNets）を用いる。提案されたResNetモデルは、意味的タグを補助損失として用いることで、英語のUniversal Dependencies POSタグ付け（95.71%および95.67%の正解率）において、先行手法を顕著に上回り、最先端の結果を達成した。

ABSTRACT

We propose a novel semantic tagging task, sem-tagging, tailored for the purpose of multilingual semantic parsing, and present the first tagger using deep residual networks (ResNets). Our tagger uses both word and character representations and includes a novel residual bypass architecture. We evaluate the tagset both intrinsically on the new task of semantic tagging, as well as on Part-of-Speech (POS) tagging. Our system, consisting of a ResNet and an auxiliary loss function predicting our semantic tags, significantly outperforms prior results on English Universal Dependencies POS tagging (95.71% accuracy on UD v1.2 and 95.67% accuracy on UD v1.3).

研究の動機と目的

• 言語をまたいで一般化可能な新しい意味的タグセットを開発し、従来の品詞タグを超えた微細な意味的違いを捉えること。
• 深層残差ネットワーク（ResNet）が、意味的タグ付けタスクにおいて標準的なCNNやRNNを上回る可能性があるかを調査すること。
• 意味的タグが、特にPOSタグ付けを含む下流NLPタスクの性能向上に寄与するかを評価すること。
• 特に低リソースおよび多言語環境下での文字レベル表現の有効性を検討すること。

提案手法

• 13の粗い粒度と75の細かい粒度のカテゴリを有する、意味現象（数量詞、否定、モダリティ、指示代名詞など）をカバーする新しい意味的タグセットを提案。
• 深層残差ネットワーク（ResNet）を採用し、残差接続により深層構造の学習を可能にするとともに、信号の流れを改善。
• ワードレベルと文字レベルの両方の表現を用い、文字埋め込みは1次元畳み込み層を経て残差ブロックに処理。
• 主なPOSタグ付け目的に加え、意味的タグの予測を補助損失として導入し、特徴学習を強化。
• ワード埋め込みを事前学習済みのPolyglot埋め込みで初期化し、ランダム初期化との性能比較を実施。
• Universal Dependenciesデータセットを用いて、内在的意味的タグ付けと外在的POSタグ付けの両タスクでモデルを評価。

実験結果

リサーチクエスチョン

• RQ1 深層残差ネットワークは、意味的タグ付けという新しいタスクにおいて、標準的なCNNやRNNを顕著に上回る性能を示すか？
• RQ2 意味的タグを補助信号として用いることで、下流のPOSタグ付けタスクの性能が向上するか？
• RQ3 文字レベル表現は、孤立して意味的タグ付けにどの程度有効か、特に多言語環境下で？
• RQ4 提案された意味的タグセットは、下流NLPタスクにおいて従来の品詞タグよりも情報量が多いと評価できるか？

主な発見

• ワードと文字の両方の表現を用いたResNetモデルが、最も高い意味的タグ付け性能を達成し、ベースラインのCNNおよびbi-LSTMモデルを有意に上回った（銀データではp < 0.01、ゴールドデータではp < 0.0025）。
• 文字のみのResNetモデルも顕著に優れた性能を示し、bi-LSTMおよびTNTベースラインを上回り、多言語的および低リソース環境において特に有望である。
• 意味的タグに基づく補助損失を導入することで、POSタグ付けの正解率が向上し、UD v1.2（95.71%）およびv1.3（95.67%）で最先端の性能を達成。bi-LSTMベースラインを上回った。
• 事前学習済み埋め込みによる性能向上は、POSタグ付けでは顕著（約3パーセンテージポイントの上昇）であったが、意味的タグ付けではほとんどなかった（0.04%の上昇）。
• 標準的なCNNと比較して、ResNetモデルは過学習が低減しており、ゴールドデータと銀データの性能差が小さいことから裏付けられた。
• 意味的タグセットは、品詞タグに表現されない意味的違い（例：every 対 some の数量詞、proximal 対 distal の指示代名詞）を効果的に捉えており、下流のPOSタグ付けを改善した。