[論文レビュー] Binary and Multitask Classification Model for Dutch Anaphora Resolution: Die/Dat Prediction

Liesbeth Allein, Artuur Leeuwenberg+1 more|arXiv (Cornell University)|Jan 9, 2020

Natural Language Processing Techniques参考文献 12被引用数 6

ひとこと要約

本稿では、文脈におけるドイツ語の代名詞 'die' と 'dat' の正しい使用を予測するニューラルネットワークモデルを提案する。双方向LSTMアーキテクチャを用いた2値分類器は84.56%の正確性を達成し、代名詞選択と品詞タグの両方を同時に予測するマルチタスクモデルは88.63%の正確性を示し、統合された品詞知識と文脈符号化の利点を示している。

ABSTRACT

The correct use of Dutch pronouns 'die' and 'dat' is a stumbling block for both native and non-native speakers of Dutch due to the multiplicity of syntactic functions and the dependency on the antecedent's gender and number. Drawing on previous research conducted on neural context-dependent dt-mistake correction models (Heyman et al. 2018), this study constructs the first neural network model for Dutch demonstrative and relative pronoun resolution that specifically focuses on the correction and part-of-speech prediction of these two pronouns. Two separate datasets are built with sentences obtained from, respectively, the Dutch Europarl corpus (Koehn 2015) - which contains the proceedings of the European Parliament from 1996 to the present - and the SoNaR corpus (Oostdijk et al. 2013) - which contains Dutch texts from a variety of domains such as newspapers, blogs and legal texts. Firstly, a binary classification model solely predicts the correct 'die' or 'dat'. The classifier with a bidirectional long short-term memory architecture achieves 84.56% accuracy. Secondly, a multitask classification model simultaneously predicts the correct 'die' or 'dat' and its part-of-speech tag. The model containing a combination of a sentence and context encoder with both a bidirectional long short-term memory architecture results in 88.63% accuracy for die/dat prediction and 87.73% accuracy for part-of-speech prediction. More evenly-balanced data, larger word embeddings, an extra bidirectional long short-term memory layer and integrated part-of-speech knowledge positively affects die/dat prediction performance, while a context encoder architecture raises part-of-speech prediction performance. This study shows promising results and can serve as a starting point for future research on machine learning models for Dutch anaphora resolution.

研究の動機と目的

• ドイツ語の代名詞 'die' と 'dat' の使用に関する誤りを自動で検出し、是正するニューラルネットワークモデルを開発すること。
• マルチタスク学習アプローチが、代名詞選択と品詞タグの両方を同時に予測することで、予測正確性を向上させることを調査すること。
• 単語埋め込み、双方向LSTM層、文脈符号化などのアーキテクチャ的要素がモデル性能に与える影響を評価すること。
• 将来のドイツ語における機械学習ベースのアンファラ解消研究の基盤となるフレームワークを確立すること。

提案手法

• ドイツ語の Europarl および SoNaR コーパスから、'die' および 'dat' の出現を含む文を含む2つのデータセットを構築した。
• 2値分類モデルは、文脈において 'die' か 'dat' が適切かを予測するために双方向LSTMを用いた。
• マルチタスク分類モデルは、2値分類モデルを拡張し、代名詞選択に加えて、品詞タグ（指示代名詞、関係代名詞、接続詞的代名詞）の予測も同時に実行する。
• モデルは文符号化器と文脈符号化器を採用しており、後者はフィードフォワードネットワークまたは双方向LSTMとして実装された。
• 単語埋め込みを拡張し、品詞知識を入力表現に統合することで性能向上を図った。
• モデル性能はテストセットにおける正確性を用いて評価され、アーキテクチャ的要素に関するアブレーションスタディが実施された。

実験結果

リサーチクエスチョン

• RQ1 文脈に基づいて、ドイツ語の文において 'die' と 'dat' のどちらが正しい代名詞かをニューラルネットワークモデルが正確に予測できるか。
• RQ2 代名詞選択と同時に品詞タグを予測することで、全体の予測正確性が向上するか。
• RQ3 単語埋め込みのサイズ、LSTM層の数、文脈符号化器の種別といったアーキテクチャ的選択がモデル性能に与える影響はいかほどか。
• RQ4 品詞知識を統合することで、モデルの 'die' と 'dat' の正しい解釈能力がどの程度向上するか。

主な発見

• 双方向LSTMを用いた2値分類モデルは、'die' または 'dat' の予測で84.56%の正確性を達成した。
• 双方向LSTM文脈符号化器を搭載したマルチタスクモデルは、'die'/'dat' 予測で88.63%、品詞タギングで87.73%の正確性を示した。
• 単語埋め込みのサイズを増やす、追加の双方向LSTM層を追加する、品詞知識を統合するといった措置が、'die'/'dat' 予測性能を顕著に向上させた。
• 特に双方向LSTMバージョンの文脈符号化器は、品詞タギングの正確性に強い正の影響を与えた。
• 双方向LSTM文脈符号化器を搭載したマルチタスクモデルは、すべての評価指標において他のすべての構成よりも優れた性能を示した。
• 結果から、構文的知識と文脈モデリングを統合することで、ドイツ語の代名詞解消のためのニューラルモデルの性能が向上することが示唆された。