[論文レビュー] Incorporating Semi-supervised Features into Discontinuous Easy-First Constituent Parsing

Yannick Versley|arXiv (Cornell University)|Sep 12, 2014

Natural Language Processing Techniques参考文献 1被引用数 10

ひとこと要約

この論文は、依存構造と品詞タグのマッピングを用いた多言語対応の適応と、Brownクラスタリングおよびバイグラム依存言語モデルを用いた未ラベルデータからの半教師あり特徴を統合することで、EaFiパーサーの不連続句構造解析性能を向上させた。ドイツ語およびスウェーデン語において、ゴールドタグでは最大+3.5%、予測タグでは+2.6%のF1向上を達成し、不連続句構造解析における半教師あり学習の有効性を示した。

ABSTRACT

This paper describes adaptations for EaFi, a parser for easy-first parsing of discontinuous constituents, to adapt it to multiple languages as well as make use of the unlabeled data that was provided as part of the SPMRL shared task 2014.

研究の動機と目的

• 依存構造と品詞タグのマッピングを用いて、EaFiパーサーの多言語対応不連続句構造解析への適応を実現すること。
• SPMRL 2014共同タスクの未ラベルデータを活用し、半教師あり学習によってパーサー性能を向上させること。
• Brown語彙クラスターやバイグラム依存言語モデルを追加特徴として統合し、パーサーの精度を向上させること。
• ゴールドおよび予測された前処理を用いたドイツ語およびスウェーデン語データセットにおいて、これらの向上策の有効性を評価すること。

提案手法

• 多言語対応の適応は、CoNLL依存木と句構造木からヘッドテーブルを導出することで実現され、依存構造のヘッド規則を用いてフレーズの主語を特定する。
• 普遍的品詞タグマッピング（Petrov et al., 2012）を用いて閉形式タグと標点を分類する。利用できない場合には、トークンおよびタイプの出現回数に基づくヒューリスティクスを適用する。
• 未ラベルデータから得られるBrownクラスタリング（4ビット、6ビット、フル）を用いて、語形とその分布的性質を特徴として表現する。
• バイグラム依存言語モデルを特徴として統合し、3つのバージョン（元の値、L1正則化、L2正則化（LL））を用いて依存遷移をモデル化する。
• オンライン学習にFOBOS正則化とAdaGrad更新を適用し、ハッシュ衝突を低減し特徴表現を向上させるために400MBの重みベクトルを用いる。
• 早期停止を用いた学習により、パrameterの更新には、最初に誤分類されたアクションとスコアが最も高いアクションの特徴のみを用いる。

実験結果

リサーチクエスチョン

• RQ1 言語固有のツリー・バンクアノテーションを必要とせず、依存構造と品詞タグのマッピングを用いた多言語対応のEaFiパーサーの適応は、効果的に実現可能か？
• RQ2 未ラベルデータから得られるBrown語彙クラスタは、不連続句構造解析の性能向上にどの程度寄与するか？
• RQ3 バイグラム依存言語モデルは、半教師あり特徴としての有効性を示すか？
• RQ4 複数の半教師あり特徴（クラスタと言語モデル）を組み合わせることで、教師ありベースラインを超える相乗効果が得られるか？

主な発見

• フル長さのBrownクラスタの統合により、ドイツ語ではゴールドタグで+1.3%、予測タグで+2.6%のF1向上が得られ、スウェーデン語でも同様の向上が確認された。
• 6ビットクラスタの接頭辞を用いることで、フルクラスタに近い性能が得られたが、4ビットクラスタは顕著に劣った性能を示し、クラスタの粒度に敏感であることが示された。
• バイグラム依存言語モデル（LLバージョン）の追加により、ドイツ語で+1.7%、スウェーデン語で+2.6%のF1向上が達成された。
• ドイツ語のテストセットでは、フルクラスタとLLバイグラムモデルを組み合わせた最良の結果が82.20 F1（UAS）となり、教師ありベースラインを1.54ポイント上回った。
• スウェーデン語のテストセットでは、半教師ありモデルが82.49 F1（UAS）を達成し、教師ありベースラインを1.33ポイント上回った。これは、低リソース環境下でも優れた一般化性能を示している。
• フルクラスタと6ビットクラスタ接頭辞の組み合わせは、すべての指標で一貫した向上をもたらし、特にNPおよびVP解析で最大の向上が得られた。