[論文レビュー] Transformer-based Language Models for Factoid Question Answering at BioASQ9b

Urvashi Khanna, Diego Mollá|arXiv (Cornell University)|Sep 15, 2021

Topic Modeling参考文献 2被引用数 4

ひとこと要約

本論文は、BioASQ9bチャレンジにおけるfactoid質問応答のためのALBERTおよびDistilBERTを、SQuADと段階的アンフリーズ技術を用いたマルチタスク微調整でファインチューニングした結果を評価している。パrameter数が少ないにもかかわらず、DistilBERTはテストバッチ4および5でALBERTを上回ったが、段階的アンフリーズは標準的なファインチューニングと比較して顕著な精度向上を示さなかった。

ABSTRACT

In this work, we describe our experiments and participating systems in the BioASQ Task 9b Phase B challenge of biomedical question answering. We have focused on finding the ideal answers and investigated multi-task fine-tuning and gradual unfreezing techniques on transformer-based language models. For factoid questions, our ALBERT-based systems ranked first in test batch 1 and fourth in test batch 2. Our DistilBERT systems outperformed the ALBERT variants in test batches 4 and 5 despite having 81% fewer parameters than ALBERT. However, we observed that gradual unfreezing had no significant impact on the model's accuracy compared to standard fine-tuning.

研究の動機と目的

• トランスフォーマーに基づくモデルを用いた転移学習により、生物医学的QAにおけるfactoid質問応答を改善すること。
• SQuADと同様の低リソースな生物医学的データセット（例：BioASQ9b）におけるマルチタスクファインチューニングの影響を調査すること。
• 段階的アンフリーズが、標準的なファインチューニングと比較して、factoidQAにおけるモデル性能を向上させるかどうかを評価すること。
• BioASQ9bチャレンジにおいて、より大きなALBERTとより小型で効率的なDistilBERTの性能を比較すること。

提案手法

• SQuAD2.0で事前学習済みのALBERTを、BioASQ9bでのファインチューニング前にマルチタスク学習を用いて適応性を向上させるためにファインチューニングした。
• SQuAD1.1で事前学習済みのDistilBERTを、その小型性を活かして効率を高めるためにファインチューニングした。
• ファインチューニング中に下位の層から段階的に更新する方法で、段階的アンフリーズを適用した。
• 段階的アンフリーズと比較するためのベースラインとして、標準的なファインチューニングを用いた。
• BioASQ9bリーダーボードの複数のテストバッチにおいて、平均逆順位（MRR）を用いてモデルを評価した。
• 性能差の統計的有意性を評価するために、対応t検定を実施した。

実験結果

リサーチクエスチョン

• RQ1 SQuADでマルチタスクファインチューニングすることで、低リソースなBioASQ9bデータセットでの性能が向上するか？
• RQ2 ALBERTのような大規模モデルと比較して、DistilBERTは生物医学的factoidQAで競争力のある性能を達成できるか？
• RQ3 この設定において、段階的アンフリーズは標準的なファインチューニングと比較してMRRに顕著な向上をもたらすか？
• RQ4 生物医学的質問応答において、モデルサイズと精度のトレードオフが生じるか？

主な発見

• ALBERTベースのシステムは、テストバッチ1で1位、テストバッチ2で4位を記録し、初期のテストセットにおいて強力な性能を示した。
• DistilBERTは、テストバッチ4および5でALBERTを上回り、平均MRRがそれぞれ0.5399および0.5171を達成したが、パrameter数は81%も少なかった。
• DistilBERTに段階的アンフリーズを適用したシステムは、標準的なファインチューニングと比較してMRRに統計的に有意な向上を示さなかった（有意差なしを示すp値）。
• アンフリーズ変種の平均MRR（0.5232）は、標準的なファインチューニング済みDistilBERT（0.5209）とわずかに高いにとどまり、この手法による明確な利点は確認されなかった。
• 過去のBioASQ7bの研究結果も、段階的アンフリーズがすべてのテストバッチで一貫した恩恵をもたらさないことを裏付けている。
• 本研究は、効率的なモデル（例：DistilBERT）が、高い性能と少ないパラメータ数のおかげで、モバイルおよびエッジベースの生物医学的QAアプリケーションに適していると示唆している。