[論文レビュー] Effective Transfer Learning for Identifying Similar Questions: Matching User Questions to COVID-19 FAQs

Clara H. McCreery, Namit Katariya+3 more|arXiv (Cornell University)|Aug 4, 2020

Topic Modeling被引用数 11

ひとこと要約

本稿では、医療QAペアの事前学習を経て、ラベル付き医療質問ペアでの微調整を実施する二段階微調整の転移学習手法を提案する。この手法は、医師がアノテートしたデータセット上で84.5%の精度を達成し、ベースラインモデルを著しく上回り、ユーザーのCOVID-19関連質問をFAQにマッチングするライブシステムを駆動する。

ABSTRACT

People increasingly search online for answers to their medical questions but the rate at which medical questions are asked online significantly exceeds the capacity of qualified people to answer them. This leaves many questions unanswered or inadequately answered. Many of these questions are not unique, and reliable identification of similar questions would enable more efficient and effective question answering schema. COVID-19 has only exacerbated this problem. Almost every government agency and healthcare organization has tried to meet the informational need of users by building online FAQs, but there is no way for people to ask their question and know if it is answered on one of these pages. While many research efforts have focused on the problem of general question similarity, these approaches do not generalize well to domains that require expert knowledge to determine semantic similarity, such as the medical domain. In this paper, we show how a double fine-tuning approach of pretraining a neural network on medical question-answer pairs followed by fine-tuning on medical question-question pairs is a particularly useful intermediate task for the ultimate goal of determining medical question similarity. While other pretraining tasks yield an accuracy below 78.7% on this task, our model achieves an accuracy of 82.6% with the same number of training examples, an accuracy of 80.0% with a much smaller training set, and an accuracy of 84.5% when the full corpus of medical question-answer data is used. We also describe a currently live system that uses the trained model to match user questions to COVID-related FAQs.

研究の動機と目的

• 大規模かつ高品質なラベル付きデータが不足する状況において、意味的に類似する医療質問を特定する課題に対処すること。
• 微細な医療的意味の違いを捉える能力に欠ける一般向けモデルの限界を克服し、たとえ表記のわずかな変化でも意味が大きく変わることを考慮すること。
• ドメイン内事前学習を活用することで、リソースが限られた医療質問類似度タスクの性能を向上させるスケーラブルな転移学習ベースのソリューションを開発すること。
• 今後の医療NLP研究を支援するため、1,000組の医師がアノテートした医療質問ペアからなる新規データセットMQPを構築・公開すること。
• 訓練済みモデルを活用して、ユーザーの質問を既存のCOVID-19 FAQにマッチングするライブシステムをデプロイし、信頼できる健康情報へのアクセスを向上させること。

提案手法

• マスク言語モデルと次文予測を用いて、ドメイン固有の言語パターンを活用し、大規模な医療QAペアコーパス上でニューラルネットワークを事前学習する。
• 意味的類似度ラベルが付与された、より小さな手作業で整備された医療質問ペアデータセット（MQPデータセット）上で、事前学習済みモデルを微調整する。
• 二段階微調整戦略を適用：まずドメイン内QAマッチングで微調整し、次に質問-質問類似度タスクで微調整することで、医療ドメイン知識を効果的に転送する。
• BERTおよびXLNetをベースアーキテクチャとして採用し、臨床用語や意味的ニュアンスを捉えるためにドメイン特化の事前学習を適用する。
• 転移学習を活用することで、大規模なラベル付きデータに依存するのを減らし、限られたアノテーション例でも実用的なアプローチを実現する。
• MQPデータセットにおける標準指標（精度など）を用いてモデル性能を評価し、ドメイン外事前学習ベースラインと比較する。

実験結果

リサーチクエスチョン

• RQ1 医療QAペアの事前学習が、リソースが限られた医療環境下での質問類似度モデルの性能向上に寄与するか。
• RQ2 中間段階の事前学習タスクの選択（例：QA対比一般NLP）が、医療質問類似度タスクにおける最終的性能に与える影響はいかほどか。
• RQ3 ドメイン特化知識の転送によって、医療NLPにおけるデータ不足問題を二段階微調整アプローチがどの程度軽減できるか。
• RQ4 標準的なFAQとは語句・スペル・トピック分布が異なる実世界のユーザー質問に対して、モデルの一般化性能はどの程度か。
• RQ5 モデルの失敗モードは何か。弱い監視やアクティブラーニングを用いて、データの困難領域を体系的に改善できるか。

主な発見

• 全医療QAコーパスを用いた事前学習で、二段階微調整アプローチはMQPデータセットで84.5%の精度を達成し、ベースラインモデルを著しく上回った。
• 極めて小さな学習データセットでも、80.0%の精度を達成した。これは、データ効率性とデータ不足に対する強靭性の高さを示している。
• 同じ数の学習例を用いても、一般ドメインで事前学習されたモデルを上回り、82.6%の精度を達成した。
• 特に、1つの重要な医療用語の違いでのみ意味が異なる微妙な類似度差を識別する能力が強く、語彙的重複率が低い状況でも優れた性能を示した。
• 誤差解析により、体系的な失敗パターンが明らかになった。これにより、弱い監視やアクティブラーニングを用いた改善が、困難なデータ領域で有効である可能性が示唆された。
• 本アプローチにより、ユーザーの質問をリアルタイムで既存のCOVID-19 FAQにマッチングするライブシステムのデプロイが可能となり、信頼できる健康情報へのアクセスが向上した。