[論文レビュー] The Uncertainty-based Retrieval Framework for Ancient Chinese CWS and POS

Pengyu Wang, Zhichen Ren|arXiv (Cornell University)|Oct 12, 2023

Natural Language Processing Techniques被引用数 5

ひとこと要約

本稿では、古代中国語の分かち書き（CWS）および品詞タギング（POS）のための不確実性に基づくリtrievalフレームワークを提案する。この手法は、局所的な意味的特徴を捉えるためにビグラム特徴をBERTに統合し、外部知識を用いて不確かなスパンを再予測することで、BERT-CRF や Jiayan を上回る性能を達成した。Zuozhuanデータセットにおいて、CWSでは96.28%、POSでは92.41%のF1スコアを達成した。

ABSTRACT

Automatic analysis for modern Chinese has greatly improved the accuracy of text mining in related fields, but the study of ancient Chinese is still relatively rare. Ancient text division and lexical annotation are important parts of classical literature comprehension, and previous studies have tried to construct auxiliary dictionary and other fused knowledge to improve the performance. In this paper, we propose a framework for ancient Chinese Word Segmentation and Part-of-Speech Tagging that makes a twofold effort: on the one hand, we try to capture the wordhood semantics; on the other hand, we re-predict the uncertain samples of baseline model by introducing external knowledge. The performance of our architecture outperforms pre-trained BERT with CRF and existing tools such as Jiayan.

研究の動機と目的

• 希少なコーパスと豊富な語義の存在による、低リソースで曖昧性の高い古代中国語テキスト処理の課題に対処する。
• 大規模で手作業で整備された語彙集に依存せずに、局所的な語彙的意味を捉えることで、CWSおよびPOSタギングの性能を向上させる。
• MCドロップアウトを用いて予測の不確実性を推定し、曖昧なスパンを特定して外部知識を用いて再予測することで、予測の曖昧性を低減する。
• 意味的強化と知識統合を組み合わせた二段階フレームワークを構築し、モデルのロバスト性と精度を向上させる。

提案手法

• 隣接する文字の隠れ表現を連結することで、BERTにビグラム特徴を統合し、局所的な語彙的意味を捉える。
• 線形融合層を用いて、BERTのトークン表現とビグラム特徴を統合し、複合ベクトルを生成する。
• MCドロップアウトを適用して予測の不確実性を推定し、再処理の対象となる曖昧な文字を特定する。
• 補助的知識を取得し、[SEP]トークンを用いて知識強化入力系列を構築し、外部情報を統合する。
• 結合された入力と一時的なラベルを用いて、知識統合BERT（KF-BERT）モデルを学習し、不確かなトークンをマスクする。
• 融合出力に対してViterbiデコードを実行し、最終的な予測を行う。複数の不確かなスパンが存在する場合は、結果を平均化する。

実験結果

リサーチクエスチョン

• RQ1 大規模な語彙集に依存せずに、ビグラム特徴は古代中国語における局所的な語彙的意味を効果的に捉えることができるか？
• RQ2 MCドロップアウトによる不確実性サンプリングは、古代中国語テキストにおける曖昧なセグメントの同定を改善するか？
• RQ3 知識取得と統合は、低リソースな古代中国語環境におけるCWSおよびPOSタギングの性能を顕著に向上させることができるか？
• RQ4 提案された二段階フレームワークは、標準的な古代中国語ベンチマークにおいて、BERT-CRF や Jiayan といった強力なベースラインと比較してどのように差をつけるか？

主な発見

• 提案フレームワークは、ZuozhuanデータセットでCWS-F1が96.284%、POS-F1が92.410%を達成し、Siku-RoBERTa + CRF（96.073% および 91.998%）および Jiayan（CWS: 82.022%、POS: 83.141%）を上回った。
• ビグラム特徴を統合した意味的強化BERT（SE-BERT）は、標準的なBERT-Bigramよりも性能が向上しており、学習されたビグラム特徴が事前学習済みのものよりも効果的であることを示している。
• 知識統合段階が性能向上に顕著な寄与を示しており、SE-BERT + KF-BERTはCWSおよびPOSの両タスクで最高のF1スコアを達成した。
• アブレーションスタディにより、意味的強化と知識統合の両者が独立してかつ相乗的に最終的な性能向上に寄与していることが確認された。