[論文レビュー] Cross-lingual Word Sense Disambiguation using mBERT Embeddings with Syntactic Dependencies

Xingran Zhu|arXiv (Cornell University)|Dec 9, 2020

Natural Language Processing Techniques参考文献 13被引用数 6

ひとこと要約

本論文は、mBERT埋め込みに構文的依存関係を組み込むことで、ターゲット語、ヘッド語、従属語の埋め込みを連結することにより、クロスリンガル単語意味素性分離（WSD）システムを提案する。単語ごとの英語データでは63.69%の正確性を達成したが、高次元埋め込みと低いクロスリンガル一般化性能のため、クロスリンガル英仏評価では性能が著しく低下（37.50%）し、多言語WSDにおける構文拡張BERTのスケーリングにおける課題を浮き彫りにしている。

ABSTRACT

Cross-lingual word sense disambiguation (WSD) tackles the challenge of disambiguating ambiguous words across languages given context. The pre-trained BERT embedding model has been proven to be effective in extracting contextual information of words, and have been incorporated as features into many state-of-the-art WSD systems. In order to investigate how syntactic information can be added into the BERT embeddings to result in both semantics- and syntax-incorporated word embeddings, this project proposes the concatenated embeddings by producing dependency parse tress and encoding the relative relationships of words into the input embeddings. Two methods are also proposed to reduce the size of the concatenated embeddings. The experimental results show that the high dimensionality of the syntax-incorporated embeddings constitute an obstacle for the classification task, which needs to be further addressed in future studies.

研究の動機と目的

• mBERT埋め込みに構文的依存関係を統合することで、クロスリンガル単語意味素性分離の性能を向上させること。
• 依存構文解析を用いた構文的関係が、WSDの文脈的単語表現をどのように向上させるかを調査すること。
• 構文拡張埋め込みの単語ごとのWSDタスクおよびクロスリンガルWSDタスクにおける性能を評価すること。
• 連結された埋め込みによって生じる次元の呪いに対処するため、サイズ削減技術を用いること。
• 英語データで学習したモデルが、英仏のような低リソースのクロスリンガル設定にどの程度一般化できるかを評価すること。

提案手法

• 各文の依存構文解析ツリーを生成し、曖昧語とそのヘッド語・従属語との間の構文的関係を特定する。
• 曖昧語、そのヘッド語、従属語のmBERT埋め込みを連結し、1つの高次元入力ベクトルを生成する。
• 次元削減のための2つの手法を検討した：(1) ターゲット語とヘッド語の埋め込みのみを保持（ヘッドのみ）の方法、(2) 3つの埋め込みの要素ごとの乗算。
• 最終表現における影響を高めるために、ターゲット語の埋め込みを2倍に拡大する手法を提案した。
• 意味アノテーション済みの曖昧語を含む8,000件の英語文ペアを用いて、多層パーセプトロン（MLP）分類器を学習した。
• 同一の前処理と埋め込み連結手法を用いて、クロスリンガル英仏試験データセットで学習済みモデルを評価した。

実験結果

リサーチクエスチョン

• RQ1 mBERT埋め込みに構文的依存関係を統合することで、クロスリンガル単語意味素性分離の性能が向上するか？
• RQ2 連結された埋め込みの高次元性が、WSDタスクにおける分類正確性にどのように影響するか？
• RQ3 ヘッドのみ選択や要素ごとの乗算といった次元削減技術が、WSDに必要な意味的・構文的情報を保持できるか？
• RQ4 ターゲット語の埋め込みを強化することで、意味判別におけるその役割を強調し、分離性能が向上するか？
• RQ5 英語データで学習したモデルが、英仏WSDのようなクロスリンガル設定にどの程度一般化できるか？

主な発見

• 連結埋め込みアプローチは、単語ごとの英語WSDで63.69%のテスト正確性を達成し、構文統合なしのベースラインmBERTを上回った。
• ヘッドのみと要素ごとの乗算による次元削減は性能を低下させ、特に要素ごとの乗算では48.19%まで低下し、重要な情報の損失が示唆された。
• ターゲット語の埋め込みを2倍に拡大した結果、正確性は63.69%から63.19%に低下し、埋め込み空間における構文的関係の歪みが示唆された。
• クロスリンガル英仏評価ではモデルの性能が著しく低く、37.50%の正確性にとどまり、言語間での一般化能力が著しく低いことが判明した。
• 構文拡張埋め込みの高次元性は、効果的な分類の大きな障壁となっており、今後の研究で効率的な表現学習の手法が不可欠である。
• 結果から、構文情報はmBERTに組み込めるが、現在の連結および削減手法は最適ではなく、多言語間転送のためにはより洗練された正規化や特徴工学的アプローチが求められることが示唆された。