[論文レビュー] Neural Semantic Parsing by Character-based Translation: Experiments with Abstract Meaning Representations

Rik van Noord, Johan Bos|University of Groningen research database (University of Groningen / Centre for Information Technology)|May 28, 2017

Natural Language Processing Techniques被引用数 82

ひとこと要約

本論文は英語の文をAMRに写像する文字レベルの seq2seq モデルを訓練し、再順序付け、スーパ文字、品詞タグ、事前学習/平均化、および大規模なシルバースタンダードデータの組み合わせが、ホールドアウトで最先端の AMR パースを達成することを示す（71.0 F値）。

ABSTRACT

We evaluate the character-level translation method for neural semantic parsing on a large corpus of sentences annotated with Abstract Meaning Representations (AMRs). Using a sequence-to-sequence model, and some trivial preprocessing and postprocessing of AMRs, we obtain a baseline accuracy of 53.1 (F-score on AMR-triples). We examine five different approaches to improve this baseline result: (i) reordering AMR branches to match the word order of the input sentence increases performance to 58.3; (ii) adding part-of-speech tags (automatically produced) to the input shows improvement as well (57.2); (iii) So does the introduction of super characters (conflating frequent sequences of characters to a single character), reaching 57.4; (iv) optimizing the training process by using pre-training and averaging a set of models increases performance to 58.7; (v) adding silver-standard training data obtained by an off-the-shelf parser yields the biggest improvement, resulting in an F-score of 64.0. Combining all five techniques leads to an F-score of 71.0 on holdout data, which is state-of-the-art in AMR parsing. This is remarkable because of the relative simplicity of the approach.

研究の動機と目的

• 大規模な AMR 注釈コーパスに対して、AMR パースのための文字レベルのニューラル翻訳アプローチの有効性を評価する。
• 従来の特徴量設計パーサを越える、あるいはそれに匹敵する改良を追求するため、先行のニューラル結果を再現し検討する。
• 言語的手掛かりと訓練データ拡張（シルバースタンダードデータ）の影響を神経 AMR パース性能に対して調査する。
• 既製のパーサを活用して追加の訓練データを得ることが、かなりの改善をもたらすことを示す。

提案手法

• 英語の文を AMR 表現へ写像するために、双方向エンコーダとアテンションを備えた文字レベルの seq2seq モデル（OpenNMT）を用いる。
• 変数とウィキリンクを削除して変数なし表現を作るよう AMR を前処理し、出力を後処理して変数・共参照・ウィキリンクを復元する。
• 入力文の語順に AMR のブランチ順を揃えるよう AMR の再順序付けを適用し、最も適合する AMR の順序を含めて訓練データを増強する。
• 関係トークンを概念トークンから分離するためのスーパ文字を導入し、AMR 構造を強調するハイブリッド入力表現を作成する。
• 品詞タグを追加のスーパ文字として組み込み、統語情報を注入する。
• 大規模コーパス上の CAMR と JAMR のパースを SMATCH 類似度でフィルタリングして組み合わせ、金データを増強するシルバースタンダードデータを追加する。 CAMR/JAMR データの異なる比率を実験する。
• 金データとシルバーデータでの事前訓練を経て金データで微調整することで訓練を最適化する; デコード時にアンサンブルの効率的な代替としてモデルアベレージングを評価する。

実験結果

リサーチクエスチョン

• RQ1 AMR データで訓練された文字ベースの seq2seq モデルは、従来の AMR パース性能にどこまで近づくことができるのか、あるいはそれを超えることができるのか。
• RQ2 どの付加技術（AMR 再順序付け、スーパ文字、POS タグ、シルバー データ、事前訓練、平均化）がニューラル AMR パース精度を最も向上させるか。
• RQ3 市販のパーサからのシルバースタンダード AMR データを取り入れることは substantial gains をもたらすか、最適な量はどれか。
• RQ4 言語的手掛かりとモデル訓練戦略は、ニューラル AMR パースにおける手作業で設計された特徴の欠如を補えるか。
• RQ5 得られたモデル設計は、AMR データセット間で一般化できるか（例：LDC2015E86 vs LDC2016E25）。

主な発見

• 基線となる文字レベル seq2seq AMR パースは AMR トリプルで 53.1 Fスコアを達成。
• AMR の再順序付けは性能を 58.3 Fスコアに改善；再順序付けとデータ倍増を組み合わせると、テスト単独で 64.0 を達成。
• スーパ文字と POS タグ入力は同等の改善をもたらす（開発データ/テストでおおよそ 57.4–58.2）。
• 事前訓練の後に微調整を行うと顕著な改善をもたらす（おおよそ 58.6–58.7）。
• CAMR と JAMR からのシルバースタンダードデータを追加すると性能が顕著に向上し、100k CAMR+JAMR シルバーデータで dev 65.8、test 64.0（後処理なし）を達成。
• すべての技術を組み合わせ（再順序付け、スーパ文字、POS タグ、事前訓練、平均化）、ホールドアウトセットで 71.0 Fスコアのピークを達成し、従来の最先端 AMR パーサを上回った。
• 最終的な改善を適用したより大きな金データセット（LDC2016E25）で訓練しても、全テストセットで 71.0 を達成；LDC2015E86 データを使用しても 68.5 となり、多くの prior システムを上回る。
• 従来のシステムと比較して、提案手法は複数の AMR サブタスク（例：否定、SRL）で高い Smatch F スコアを達成しつつ、精度の競争力を維持し、信頼性の問題があるかもしれないにもかかわらずシルバーデータの価値を強調している。