[論文レビュー] A Chinese Corpus for Fine-grained Entity Typing

Lee Chin, Hongliang Dai+2 more|arXiv (Cornell University)|Apr 19, 2020

Topic Modeling参考文献 18被引用数 6

ひとこと要約

本稿では、4,800件のクラウドソーシング例と190万件の遠隔監視例を含む大規模な中国語の細粒度エンティティタイプ分類用コーパスを紹介している。また、10種類の一般的なタイプへの階層的マッピングも併記している。研究では、BERTおよびBiLSTMモデルを用いた強力な性能が示され、英語データからの多言語的転移学習が中国語エンティティタイプ分類の正確性を向上させることを示している。

ABSTRACT

Fine-grained entity typing is a challenging task with wide applications. However, most existing datasets for this task are in English. In this paper, we introduce a corpus for Chinese fine-grained entity typing that contains 4,800 mentions manually labeled through crowdsourcing. Each mention is annotated with free-form entity types. To make our dataset useful in more possible scenarios, we also categorize all the fine-grained types into 10 general types. Finally, we conduct experiments with some neural models whose structures are typical in fine-grained entity typing and show how well they perform on our dataset. We also show the possibility of improving Chinese fine-grained entity typing through cross-lingual transfer learning.

研究の動機と目的

• 細粒度エンティティタイプ分類のための、大規模かつ高品質な中国語データセットの不足を解消すること。
• 公式なニュースと非公式なソーシャルメディアのテキストを含む多様で代表的なコーパスを構築すること。
• 細粒度タイプを10種類の一般的なカテゴリ（例：人物、組織、場所）にマッピングすることで、階層的タイプシステムを確立すること。
• 提案されたデータセット上でニューラルモデルを評価し、低リソース中国語NLPにおける多言語的転移学習の可能性を検討すること。
• 中国語の細粒度エンティティタイプ分類の進展を促進し、タイプカバレッジとモデルの汎化能力を向上させるためのベンチマークを提供すること。

提案手法

• Amazon Mechanical Turkを用いたクラウドソーシングにより、自由形式のオープンセットエンティティタイプで4,800件のエンティティメンションをアノテートした。
• Wikipedia-Wikidataのリンクを用いた遠隔監視により、追加で190万件のエンティティメンションアノテーションを生成した。
• 各細粒度タイプを10種類の一般的なタイプ（例：人物、組織、場所）のいずれかに割り当てる階層的タイプマッピングを構築した。
• エンティティタイプ分類のため、クラウドソーシングデータセット上でBiLSTMおよびBERTベースのニューラルモデルを訓練および評価した。
• 事前学習済みの英語Babylon単語埋め込みを初期化として用い、中国語データ上で微調整することで、多言語的転移学習を適用した。
• MRR、精度、再現率、F1スコアといった標準指標を用い、一般タイプおよび細粒度タイプの両レベルでモデル性能を評価した。

実験結果

リサーチクエスチョン

• RQ1 クラウドソーシングと遠隔監視を組み合わせることで、大規模かつ高品質な中国語の細粒度エンティティタイプ分類コーパスを効果的に構築できるか？
• RQ2 標準的なニューラルモデル（例：BiLSTM、BERT）は、提案された中国語エンティティタイプ分類データセットでどの程度の性能を示すか？
• RQ3 英語の事前学習モデルからの多言語的転移学習は、低リソース中国語エンティティタイプ分類の性能をどの程度向上させられるか？
• RQ4 提案された10種類の一般的なタイプへの階層的マッピングは、モデルの汎化能力向上および下流タスクの使いやすさ向上にどの程度効果的か？
• RQ5 希少または低頻度の細粒度タイプを予測する際の主な課題は何か、そしてそれらをどのように軽減できるか？

主な発見

• BERTベースのモデルがBiLSTMモデルを上回り、一般タイプ分類タスクでF1スコア47.9を達成したのに対し、BiLSTMは38.2にとどまった。
• 細粒度タイプの予測は依然として困難であり、F1スコアはわずか24.9にとどまり、特に「文化的遺産」のような低頻度タイプでは顕著だった。
• 英語データからの転移学習により性能が向上した：英語で事前学習した後、中国語データ上で微調整することでMRRが0.254から0.279に上昇した。
• 「著者」のような高頻度タイプでは、精度（0.87）と再現率（0.72）が高く、しかし希少タイプでは困難を示した。
• コーパスには7,100種類の固有エンティティタイプが含まれており、クラウドソーシングサブセットには1,300種類のタイプが含まれており、広範なカバレッジと多様性を示している。
• 10種類の一般的なタイプへの階層的マッピングにより、モデルの汎化能力が向上し、タイプ分類を要する下流アプリケーションを支援できるようになった。