[論文レビュー] Natural language understanding for task oriented dialog in the biomedical domain in a low resources context

Antoine Neuraz, Leonardo Campillos Llanos+2 more|arXiv (Cornell University)|Nov 23, 2018

Topic Modeling参考文献 18被引用数 8

ひとこと要約

本稿では、合成データ生成と事前学習された埋め込み表現を用いて、フランス語電子歴史記録（EHR）におけるタスク指向対話のための低リソースな生物医学的自然言語理解（NLU）モデルを訓練する手法を提案する。テンプレートベースのデータ生成、中間言語として英語を用いたピボット翻訳による言い換え、および大規模なEHRコーパス上で学習されたFastTextとELMo埋め込みからの外部知識を組み合わせることで、スロットフィリングのF1スコアが0.76、意図分類のF1スコアが0.71に達し、データが乏しい状況におけるベースラインとしての有効性が示された。

ABSTRACT

In the biomedical domain, the lack of sharable datasets often limit the possibility of developing natural language processing systems, especially dialogue applications and natural language understanding models. To overcome this issue, we explore data generation using templates and terminologies and data augmentation approaches. Namely, we report our experiments using paraphrasing and word representations learned on a large EHR corpus with Fasttext and ELMo, to learn a NLU model without any available dataset. We evaluate on a NLU task of natural language queries in EHRs divided in slot-filling and intent classification sub-tasks. On the slot-filling task, we obtain a F-score of 0.76 with the ELMo representation; and on the classification task, a mean F-score of 0.71. Our results show that this method could be used to develop a baseline system.

研究の動機と目的

• 生物医学分野におけるNLUモデルのトレーニングに必要なアノテート済みデータセットの不足、特にフランス語のような低リソース言語においての課題を解決すること。
• プライバシー制約のため、実世界のアノテート済みデータが入手できない状況においても、データ効率の良いNLUシステムのトレーニング手法を開発すること。
• 合成データ生成、言い換え、および事前学習された文脈的埋め込み（FastText、ELMo）の有効性が、EHRクエリ理解におけるNLUパフォーマンス向上に与える影響を評価すること。
• 低リソースな生物医学的設定における対話システム構築のための実用的ベースラインを確立すること。

提案手法

• ラボテストクエリおよび時間的修飾語のための手作業で作成されたテンプレートを用い、409件のラボ用語リストと組み合わせることで、多様で現実的であるユーザー発話の合成トレーニングデータを生成する。
• 英語を中間言語として用いたピボット翻訳を用いて、生成されたテンプレートの言い換えを生成し、言語的多様性を向上させる。
• FastTextとELMoを用いて単語表現を学習する。両者とも大規模なフランス語EHRコーパス上で学習させ、ドメイン固有の知識を統合する。
• スロットフィリングと意図分類のための系列ラベル付けは、外部埋め込み有無の両方を考慮したbiLSTM、CRF、およびbiLSTM-CRFアーキテクチャを用いてモデル化する。
• モデルのパフォーマンスは、178件の実際の医師クエリからなるホールドアウトテストセット上で評価され、系列ラベル付けおよび分類タスクの両方でF1スコアが報告されている。
• 実験では、言い換え済みデータ有無、および異なる埋め込みソース（FastText、ELMo、外部知識なし）の組み合わせを比較し、汎化性能への影響を評価する。

実験結果

リサーチクエスチョン

• RQ1 アノテート済みトレーニングデータが存在しない状況において、合成データ生成と事前学習された埋め込み表現を組み合わせることで、生物医学的NLUモデルを有効にトレーニングできるか？
• RQ2 文脈的埋め込み（ELMo）は、静的単語埋め込み（FastText）に比べ、低リソースなEHRクエリにおけるNLUパフォーマンス向上にどのように寄与するか？
• RQ3 言い換えによるデータ拡張は、実世界の生物医学的クエリにおけるモデルの汎化性能を向上させるか？
• RQ4 大規模なEHRコーパスからのドメイン固有の知識統合が、スロットフィリングおよび意図分類タスクにおけるモデルパフォーマンス向上にどの程度寄与するか？
• RQ5 このアプローチは、低リソースな生物医学的設定における対話システム開発のための実用的ベースラインとして有効であるか？

主な発見

• スロットフィリングで最もパフォーマンスの高かったモデルは、ELMo埋め込みを用いることでF1スコア0.76を達成し、外部知識なしのモデル（F1 = 0.55 ± 0.12）を著しく上回った。
• 意図分類では、ELMoを用いた最良のモデルが平均F1スコア0.71を達成したのに対し、外部埋め込みなしでは0.61にとどまった。
• ELMoは、すべてのタスクでFastTextを上回り、この低リソース設定において文脈を考慮した表現が静的埋め込みよりも効果的であることを示した。
• 言い換えはスロットフィリングのパフォーマンスを向上させず、一部のケースではわずかに低下させた。これは、ピボット翻訳に基づく言い換えの品質が最適でない可能性を示唆している。
• ELMoとbiLSTM-CRFの組み合わせが、系列ラベル付けタスクで最高のF1スコア0.77を達成し、文脈モデリングの価値を裏付けた。
• 結果から、大規模かつドメイン固有のコーパスを用いた埋め込みの事前学習が、低リソースな生物医学的NLPタスクにおけるNLUパフォーマンス向上に不可欠であることが確認された。