[論文レビュー] Beyond English-Only Reading Comprehension: Experiments in Zero-Shot Multilingual Transfer for Bulgarian

Momchil Hardalov, Ivan Koychev+1 more|arXiv (Cornell University)|Aug 5, 2019

Topic Modeling参考文献 39被引用数 6

ひとこと要約

本稿では、英語のRACEデータセットで微調整された多言語Bertと外部のWikipedia知識を用いて、ブルガリア語の複数選択式読解理解のゼロショット多言語転送手法を提案する。情報検索パイプラインを介して関連する文脈の本文を取得することで、42.23%の精度を達成し、24.89%のベースラインを著しく上回った。これは、ブルガリア語の低リソース状況下でも、効果的なクロスリンガル知識転送が可能であることを示している。

ABSTRACT

Recently, reading comprehension models achieved near-human performance on large-scale datasets such as SQuAD, CoQA, MS Macro, RACE, etc. This is largely due to the release of pre-trained contextualized representations such as BERT and ELMo, which can be fine-tuned for the target task. Despite those advances and the creation of more challenging datasets, most of the work is still done for English. Here, we study the effectiveness of multilingual BERT fine-tuned on large-scale English datasets for reading comprehension (e.g., for RACE), and we apply it to Bulgarian multiple-choice reading comprehension. We propose a new dataset containing 2,221 questions from matriculation exams for twelfth grade in various subjects -history, biology, geography and philosophy-, and 412 additional questions from online quizzes in history. While the quiz authors gave no relevant context, we incorporate knowledge from Wikipedia, retrieving documents matching the combination of question + each answer option. Moreover, we experiment with different indexing and pre-training strategies. The evaluation results show accuracy of 42.23%, which is well above the baseline of 24.89%.

研究の動機と目的

• 高リソース言語の英語から低リソース言語のブルガリア語へのゼロショット転送が、複数選択式読解理解において有効に機能するかを調査すること。
• ブルガリア語のような低リソース言語における文脈付き学習データの不足を、Wikipediaからの外部知識を活用することで解決すること。
• 多言語Bertとスラブ語系言語向けのドメイン特化事前学習が、ブルガリア語読解理解に与える効果を評価すること。
• 中学校卒業試験およびオンラインクイズから構成される、新規で高品質なブルガリア語読解理解データセットの設計と公開すること。
• 検索戦略、テキスト前処理、微調整ハイパーパrameterの影響がモデル性能に与える影響を分析すること。

提案手法

• 複数選択式読解理解のため、英語のRACEデータセットで微調整された多言語Bertを用いる。
• 事前に提供された文脈を伴わない、中学校卒業試験およびオンラインクイズから2,636問のブルガリア語データセットを構築した。
• 質問と回答のペairを用いてWikipediaを照会する検索パイプラインを実装し、関連する証拠本文を取得した。
• 検索品質の向上を目的に、n-gram、ストップワード除去、ステミング、段落分割などのテキスト前処理技術を適用した。
• 異なるインデクシング戦略を検証した：小さなスライディングウインドウ（サイズ400、ストライド100）、大きなウインドウ（1,600、400）、および段落分割。
• ドメイン特化適応を評価するため、スラブ語系Wikipedia記事とロシアのニュース記事の統合コーパスを用いて事前学習を実施した。

実験結果

リサーチクエスチョン

• RQ1 英語の読解理解データで微調整された多言語Bertが、ゼロショット設定下でブルガリア語に効果的に一般化できるか？
• RQ2 多言語Bertを直接使用するのと比較して、スラブ語系コーパスで事前学習することでブルガリア語読解理解の性能がどのように変化するか？
• RQ3 スライディングウインドウ、段落分割、ウインドウサイズのどの検索戦略が、文脈に依存する推論に最適な証拠本文品質を提供するか？
• RQ4 ステミングやストップワード除去などのテキスト前処理技術が、検索パイプラインおよび下流モデルの精度にどのように影響するか？
• RQ5 異なる教科分野において、精度を最大化するために、1つの回答選択肢あたりの検索結果文書数をいくつに設定すべきか？

主な発見

• 提案された検索ベースのアプローチは、ブルガリア語読解理解データセットで42.23%の精度を達成し、24.89%のベースラインを17.34ポイント上回った。
• 取得した文書を段落に分割した戦略が最も高い精度（42.23%）を記録し、小さなスライディングウインドウ戦略および大きなスライディングウインドウ戦略よりもそれぞれ5.7%および5.69%優れていた。
• スラブ語系コーパスで事前学習を実施したことで、精度が9%絶対値低下した。これは、多言語Bertが既に十分なブルガリア語の知識を含んでおり、さらなる事前学習が深刻な忘却を引き起こす可能性があることを示唆している。
• 歴史の問題（特にオンラインクイズ）で最も高い精度が達成され、これはより語彙マッチ指向の性質に起因すると考えられる。一方、地理分野は最も困難で、38.73%の精度を示した。
• 1回答選択肢あたり2件の検索結果を出力する設定が、全体として最良のパフォーマンスを発揮した。10件や20件といった長さのリストは、大多数の分野で性能を低下させた。
• 3エポックの微調整は1エポックのものよりも1.6%精度を向上させたが、さらなる増加は観察されず、深刻な忘却を防ぐために2〜3エポックの使用が推奨される。