[論文レビュー] CCG Parsing and Multiword Expressions

Miryam de Lhoneux|arXiv (Cornell University)|May 17, 2015

Natural Language Processing Techniques参考文献 32被引用数 4

ひとこと要約

本稿では、CCGbankの学習データおよびテストデータから多語彙表現（MWEs）を単一トークンに統合することで、組合せカテゴリー文法（CCG）パーサーへのMWE統合を提案する。制御された実験を通じて、学習効果とパース効果の両方を示し、MWE認識品質がパース結果に与える影響を強調している。MWEを考慮したモデルは、特にパースの前に行う統合が有効である場合、ベースラインを著しく上回ることが示された。

ABSTRACT

This thesis presents a study about the integration of information about Multiword Expressions (MWEs) into parsing with Combinatory Categorial Grammar (CCG). We build on previous work which has shown the benefit of adding information about MWEs to syntactic parsing by implementing a similar pipeline with CCG parsing. More specifically, we collapse MWEs to one token in training and test data in CCGbank, a corpus which contains sentences annotated with CCG derivations. Our collapsing algorithm however can only deal with MWEs when they form a constituent in the data which is one of the limitations of our approach. We study the effect of collapsing training and test data. A parsing effect can be obtained if collapsed data help the parser in its decisions and a training effect can be obtained if training on the collapsed data improves results. We also collapse the gold standard and show that our model significantly outperforms the baseline model on our gold standard, which indicates that there is a training effect. We show that the baseline model performs significantly better on our gold standard when the data are collapsed before parsing than when the data are collapsed after parsing which indicates that there is a parsing effect. We show that these results can lead to improved performance on the non-collapsed standard benchmark although we fail to show that it does so significantly. We conclude that despite the limited settings, there are noticeable improvements from using MWEs in parsing. We discuss ways in which the incorporation of MWEs into parsing can be improved and hypothesize that this will lead to more substantial results. We finally show that turning the MWE recognition part of the pipeline into an experimental part is a useful thing to do as we obtain different results with different recognizers.

研究の動機と目的

• 多語彙表現（MWEs）をCCGパーサーに統合することで、構文的パーサーの精度が向上するかを調査すること。
• MWEを統合する際に、学習効果（モデル学習の向上）とパース効果（推論時の意思決定の向上）を区別すること。
• MWE認識システムの違いがパーサー性能に与える影響を評価し、認識を実験的変数として扱うこと。
• 構文木に基づくMWEに焦点を当て、ツリー・バンクデータにおけるMWEの自動統合手法を開発および検証すること。
• MWE統合による改善効果が、標準的で非統合のベンチマークにも一般化されるかを評価すること。

提案手法

• 構文木における構文的MWEを同定することで、CCGbankのデータからMWEを自動的に単一トークンに統合する。
• MWEの統合をパースの前または後に実施するパイプラインを構築し、学習効果とパース効果を分離する。
• ルールベースおよび統計的MWE認識器（例：）を実験的コンponentとして用い、認識品質への感受性を評価する。
• 統合済み学習データでCCGパーサーを学習し、統合済みおよび元のゴールドスタンダードテストセットの両方で評価する。
• 異なる評価スキームを適用する：統合済みゴールドスタンダードを用いた評価、元のゴールドスタンダードを用いた評価、統合タイミングによる結果の比較。
• MWE認識をモジュラーで実験的なコンponentとして統合し、パーサーの結果に与える影響を調査する。

実験結果

リサーチクエスチョン

• RQ1 学習データにおけるMWEの統合が、モデルの一般化能力を向上させる明確な学習効果をもたらすか？
• RQ2 パース時（すなわち推論時）にMWEを統合することで、意思決定の質が向上する明確なパース効果が得られるか？
• RQ3 MWE情報の統合が、標準ベンチマークにおけるCCGパーサーの精度を著しく向上させるか？
• RQ4 MWE認識器の選択が、パイプライン全体の最終的なパーサー性能に与える影響はいかほどか？
• RQ5 MWE統合による改善効果は、元の非統合ベンチマークに対しても一般化されるか、その程度はどの程度か？

主な発見

• 統合済みゴールドスタンダードでは、モデルがベースラインを著しく上回り、統合済みデータを用いた学習による明確な学習効果が示された。
• データをパースの前後に統合した場合、ベースラインモデルは前処理で統合した場合の方が有意に高い性能を示し、統合済み入力が意思決定を支援する明確なパース効果があることが示された。
• MWE情報を統合することで、特にパースの前に行う統合が有効な場合、パーサー精度にわずかだが統計的に有意な向上が見られた。
• 異なるMWE認識器は異なるパーサー性能をもたらし、MWE認識品質がパイプラインの成功に重要な要因であることが確認された。
• 元の非統合ベンチマークでは改善が観察されたが、統計的に有意ではなかったため、現在の設定下では一般化に限界があることが示唆された。
• MWE認識を実験的変数として扱う手法により、性能の有意差が明らかとなり、パーサーがMWE同定の品質に極めて感受性を示すことが強調された。