[論文レビュー] PerCQA: Persian Community Question Answering Dataset

Naghme Jamali, Yadollah Yaghoobzadeh+1 more|arXiv (Cornell University)|Dec 25, 2021

Expert finding and Q&A systems被引用数 5

ひとこと要約

本稿では、人気のあるペルシャ語フォーラム「Ninisite」から抽出した989件の質問と21,915件のアノテート済み回答を備えた、最初のスケールの大きなペルシャ語コミュニティ質問応答（CQA）データセット「PerCQA」を紹介する。著者らは、単言語（ParsBERT）および多言語（XLM-RoBERTa）の事前学習済み言語モデルを用いて強力なベースラインを確立し、英語のSemEvalCQAデータでXLM-Rを微調整することで、単語レベルのParsBERTに比べてマクロF1スコアが+3%向上することを示した。これにより、ペルシャ語の回答選択分野における新たな最先端の性能が達成された。

ABSTRACT

Community Question Answering (CQA) forums provide answers for many real-life questions. Thanks to the large size, these forums are very popular among machine learning researchers. Automatic answer selection, answer ranking, question retrieval, expert finding, and fact-checking are example learning tasks performed using CQA data. In this paper, we present PerCQA, the first Persian dataset for CQA. This dataset contains the questions and answers crawled from the most well-known Persian forum. After data acquisition, we provide rigorous annotation guidelines in an iterative process, and then the annotation of question-answer pairs in SemEvalCQA format. PerCQA contains 989 questions and 21,915 annotated answers. We make PerCQA publicly available to encourage more research in Persian CQA. We also build strong benchmarks for the task of answer selection in PerCQA by using mono- and multi-lingual pre-trained language models

研究の動機と目的

• 自然言語処理研究のための高品質で公開可能なペルシャ語CQAデータセットの不足に対処すること。
• 本物のフォーラムデータを用いたペルシャ語の回答選択、質問検索、エキスパート同定に関する研究を可能にすること。
• 質問-回答ペアの高品質かつ一貫性のあるラベル付けを保証するためのきめ細やかなアノテーションガイドラインおよびツールの開発。
• 単語レベルおよび多言語の事前学習済み言語モデルを用いた回答選択のための強力なベースラインの確立。
• ペルシャ語CQAフォーラムの使いやすさと質の向上を促進するNLPシステムの開発を推進すること。

提案手法

• Ninisite（ペルシャ語で最も人気のあるフォーラム）から989件の質問と21,915件の回答を抽出するためにWebスクレイピングを用いた。
• 回答に「Good」「Bad」「Potential」の3つのラベルを付与する詳細かつ反復的なアノテーションガイドラインを開発した。
• ラベル付けプロセスを効率化するために社内開発のアノテーションツールを構築した。
• 多言語間互換性を確保するため、データセットをSemEvalCQAの英語データセットと同一構造にした。
• 5種類の単語埋め込み（Word2vec、FastText、ParsBERT、mBERT、XLM-RoBERTa）を用いて、PV-Cnt、BiLSTM-attention、RCNN、CETEの複数のモデルを評価した。
• XLM-RおよびmBERTを英語のSemEvalCQAデータで事前学習し、その後PerCQAで評価することで、多言語間転送を検証した。

実験結果

リサーチクエスチョン

• RQ1 本物のコミュニティフォーラムから一貫性のあるアノテーションを伴う高品質で大規模なペルシャ語CQAデータセットを構築可能か？
• RQ2 非文脈的埋め込みと比較して、単語レベルおよび多言語の事前学習済み言語モデルはペルシャ語の回答選択においてどのように性能を発揮するか？
• RQ3 英語CQAデータセットからの知識を多言語間転送することで、ペルシャ語の回答選択の性能はどの程度向上するか？
• RQ4 低リソース環境における下流モデルの性能に、アノテーションの品質と一貫性が及ぼす影響は何か？
• RQ5 どのモデルアーキテクチャと埋め込みタイプがペルシャ語CQAタスクにおける最良のベースラインを提供するか？

主な発見

• PerCQAは989件の質問と21,915件のアノテート済み回答を含み、公開済みのペルシャ語CQAデータセットとしては初となる。
• 英語のSemEvalCQAデータで微調整したXLM-RoBERTaは、PerCQAでマクロF1スコア61.14を達成し、ParsBERT（58.07）を3.07ポイント上回った。
• XLM-RやmBERTなどの多言語モデルは、PerCQAデータで微調整された際、単語レベルのParsBERTを上回る性能を示し、多言語事前学習の利点を示した。
• 英語からペルシャ語への多言語間転送により、性能が顕著に向上した。XLM-Rはゼロショット設定で52.48のマクロF1を、微調整設定で61.14を達成した。
• 文脈的埋め込み（ParsBERT、XLM-R）は、非文脈的埋め込み（Word2vec、FastText）と比較して、すべてのベースラインで顕著に優れた性能を示した。
• XLM-R埋め込みを用いたCETEモデルが最高の性能を達成し、ペルシャ語の回答選択においてトランスフォーマーに基づく文脈的モデリングの有効性を示した。