[論文レビュー] Evaluating Scoped Meaning Representations

Rik van Noord, Lasha Abzianidze+2 more|arXiv (Cornell University)|Feb 23, 2018

Natural Language Processing Techniques参考文献 25被引用数 29

ひとこと要約

本稿では、話題認識理論に基づき、WordNetのシングセットとVerbNetの役割を用いて、否定、モダリティ、量化、予備的仮定をモデル化するスコープ付き意味表現（SMR）でアノテートされた多言語並列コーパスを紹介する。smatchに類似した文節マッチング評価フレームワークを提案し、3つのベースラインパーサーでFスコア43–54％を達成した。また、言語間比較によるアノテーション誤りの検出や意味解析の改善に有効であることを示した。

ABSTRACT

Semantic parsing offers many opportunities to improve natural language understanding. We present a semantically annotated parallel corpus for English, German, Italian, and Dutch where sentences are aligned with scoped meaning representations in order to capture the semantics of negation, modals, quantification, and presupposition triggers. The semantic formalism is based on Discourse Representation Theory, but concepts are represented by WordNet synsets and thematic roles by VerbNet relations. Translating scoped meaning representations to sets of clauses enables us to compare them for the purpose of semantic parser evaluation and checking translations. This is done by computing precision and recall on matching clauses, in a similar way as is done for Abstract Meaning Representations. We show that our matching tool for evaluating scoped meaning representations is both accurate and efficient. Applying this matching tool to three baseline semantic parsers yields F-scores between 43% and 54%. A pilot study is performed to automatically find changes in meaning by comparing meaning representations of translations. This comparison turns out to be an additional way of (i) finding annotation mistakes and (ii) finding instances where our semantic analysis needs to be improved.

研究の動機と目的

• 否定、モダリティ、量化、予備的仮定のためのスコープを明示的にモデル化する形式的で言語学的根拠を持つ意味表現を開発すること。
• 英語、ドイツ語、イタリア語、オランダ語で構成される大規模な多言語並列コーパスを、形式的意味表現でアノテートすること。
• 機械生成SMRとゴールドスタンダードアノテーションを、文レベルの正確性と再現率を用いて比較するための効率的な評価ツールを設計・実装すること。
• 翻訳間の意味表現を比較することにより、意味的不整合やアノテーション誤りを自動で検出できること。
• 4言語におけるSMR解析の共有タスクを主催し、今後の意味解析分野の研究を促進すること。

提案手法

• 意味表現形式は、話題認識構造（DRS）に基づき、概念にはWordNetのシングセット、主題的役割にはVerbNetの関係を統合する。
• 論理的演算子と条件を用いてスコープを明示的に表現し、否定、モダリティ、量化の正確なモデル化を可能にする。
• 翻訳に基づくアプローチを用いて並列意味表現を生成し、言語間の一貫性を確保するとともに、合成的意味解析を可能にする。
• 評価フレームワークは、SMRを論理的文節の集合に変換し、修正されたsmatchに類似したアルゴリズムを用いて正確性、再現率、Fスコアを計算する。
• 変数マッピングと意味的マッチングをサポートし、同一でないが関連するシングセットに対してはWordNet類似度を統合する計画がある。
• パイロットスタディでは、翻訳のSMRを比較して意味的不一致を検出し、誤り検出と分析の洗練に役立てる。

実験結果

リサーチクエスチョン

• RQ1 否定、モダリティ、予備的仮定を捉えるために、意味表現における意味スコープを効果的にモデル化する方法は何か？
• RQ2 文節マッチング評価フレームワークは、機械生成SMRとゴールドスタンダードアノテーションの間で、信頼性があり効率的な比較をどの程度達成できるか？
• RQ3 意味表現の言語間比較は、アノテーション誤りや意味解析の欠陥を明らかにできるか？
• RQ4 AMRと比較して、WordNetおよびVerbNetの接地された記号を用いることで、SMRの複雑さと評価にどのような影響が生じるか？
• RQ5 文字列マッチングに依存するのではなく、シングセット間の意味的類似度を組み込むことで、評価プロセスにどのような改善が見込めるか？

主な発見

• 提案された評価ツールは、速度と正確性の合理的なトレードオフを実現し、文節レベルのマッチングによりSMRの信頼性ある比較を可能にした。
• ベースライン意味解析パーサーは、ゴールドスタンダードアノテーションに対してFスコア43–54％を達成した。
• 翻訳のSMRの言語間比較により、スコープや主題的役割の割り当てに関するアノテーションミスが効果的に特定された。
• この手法により、非直訳的翻訳や複雑なスコープ相互作用の処理において、現在の意味解析に洗練の余地があることが明らかになった。
• WordNetおよびVerbNetの接地された記号の使用により表現力が向上したが、複雑さも増し、平均してAMRと比較して約2倍の文節と変数を含むSMRが得られた。
• 予備的な結果から、WordNet類似度メトリクスを組み込むことで、正確な文字列マッチングを超えたマッチング精度の向上が期待できる。