[論文レビュー] A Deep Neural Network for Chinese Zero Pronoun Resolution

Qingyu Yin, Weinan Zhang+2 more|arXiv (Cornell University)|Apr 20, 2016

Natural Language Processing Techniques参考文献 31被引用数 6

ひとこと要約

本稿では、中国語のゼロプロノウン解決のためのゼロプロノウン特化型ニューラルネットワーク（ZPSNN）を提案する。ZP中心のLSTMを用いて意味的文脈をモデル化し、局所的およびグローバルな先行詞情報の両方を捉える二段階の候補エンコーダーを採用する。OntoNotes 5.0 における実験では、複数の設定で最先端の手法を上回る性能を達成した。

ABSTRACT

Existing approaches for Chinese zero pronoun resolution overlook semantic information. This is because zero pronouns have no descriptive information, which results in difficulty in explicitly capturing their semantic similarities with antecedents. Moreover, when dealing with candidate antecedents, traditional systems simply take advantage of the local information of a single candidate antecedent while failing to consider the underlying information provided by the other candidates from a global perspective. To address these weaknesses, we propose a novel zero pronoun-specific neural network, which is capable of representing zero pronouns by utilizing the contextual information at the semantic level. In addition, when dealing with candidate antecedents, a two-level candidate encoder is employed to explicitly capture both the local and global information of candidate antecedents. We conduct experiments on the Chinese portion of the OntoNotes 5.0 corpus. Experimental results show that our approach substantially outperforms the state-of-the-art method in various experimental settings.

研究の動機と目的

• ゼロプロノウン（ZP）に意味的情報が欠如していることによる、先行詞との意味的類似度計算の困難さを解消すること。
• 従来のモデルが候補先行詞を個別に扱うため、それらの間のグローバルな文脈的関係を無視するという制限を克服すること。
• ゼロプロノウンの意味的側面を周囲む文脈によってモデル化し、候補先行詞の局所的およびグローバルな特徴を捉えることで、ゼロプロノウン解決の精度を向上させること。
• 深層学習を用いてゼロプロノウンおよび候補先行詞を効果的に表現するニューラルアーキテクチャを開発し、解釈精度を向上させること。

提案手法

• ゼロプロノウンの前後文脈を両方モデル化するZP中心のLSTMを提案し、意味レベルの表現を生成する。
• 二段階の候補先行詞エンコーダーを導入：個々の候補の文脈および内容を処理するローカルエンコーダーと、セット内の他の候補からの情報を統合するグローバルエンコーダー。
• 語彙的特徴を表現するために単語埋め込みを用い、複数語の先行詞における情報量の多い部分に注目するためのアテンション機構を適用する。
• ローカルおよびグローバル表現を統合した基準に基づき、ランク付けに基づくデコード戦略を採用して、候補集合から最も可能性の高い先行詞を選択する。
• 中国語 OntoNotes 5.0 コーパスを用いて、交差エントロピー損失関数に基づく教師あり学習により、モデルをエンドツーエンドで訓練する。
• 特に前文が存在しない文頭のZPに対して文脈モデリングを向上させるために、文単位の履歴ベクトルを活用する。

実験結果

リサーチクエスチョン

• RQ1 周囲の文脈によるゼロプロノウンの意味的側面のモデル化は、解釈精度の向上に寄与するか？
• RQ2 他の候補先行詞からのグローバル情報を組み込むことで、個々の候補の表現が向上するか？
• RQ3 二段階符号化戦略を有する深層ニューラルネットワークは、局所的特徴のみを用いるモデルを上回る性能を発揮するか？
• RQ4 前文が存在しない文境界付近のZPに対して、モデルはどの程度の性能を示すか？
• RQ5 プロノウンに類似した候補（例：‘我’, ‘你’）に過剰に依存することで生じる誤りは、どの程度軽減されるか？

主な発見

• 提案されたZPSNNは、OntoNotes 5.0 コーパスの中国語部分において最先端の性能を達成し、すべての実験設定で先行手法を上回った。
• 二段階の候補エンコーダーは、局所的文脈と候補間のグローバル関係の両方を捉えることで、解釈精度を顕著に向上させた。
• ZP中心のLSTMは意味的文脈を効果的に符号化し、表面形が存在しないにもかかわらずゼロプロノウンの表現を改善した。
• 特に文頭のZPに対して、プロノウンに類似した先行詞への過剰適合による誤りを低減した。
• グローバルエンコーダーは、局所的特徴が類似しているが話法的役割が異なる候補を区別することで、曖昧なケースの解釈を支援した。
• アブレーションスタディの結果、ローカルおよびグローバル符号化コンponentsの両方がモデルの性能向上に寄与していることが確認された。