[論文レビュー] Identifying Condition-Action Statements in Medical Guidelines Using Domain-Independent Features

Hossein Hematialam, Wlodek Zadrozny|arXiv (Cornell University)|Jun 13, 2017

Biomedical Text Mining and Ontologies参考文献 7被引用数 6

ひとこと要約

本稿では、手作業で作成された規則に依存せずに、品詞タグなどのドメインに依存しない特徴量を用いて、医療ガイドライン内の条件-行動文を特定するための教師あり機械学習手法を提案する。本研究では、高血圧、アスタマ、鼻副鼻腔炎の3つの新しいアノテート済み臨床ガイドラインデータセットを提供し、ベースライン性能を確立した。ランダムフォレストは高血圧データセットでF-measure 0.587、鼻副鼻腔炎データセットで0.535を達成し、規則ベースの手法よりも再現率が低いものの、自動抽出の可能性を示した。

ABSTRACT

This paper advances the state of the art in text understanding of medical guidelines by releasing two new annotated clinical guidelines datasets, and establishing baselines for using machine learning to extract condition-action pairs. In contrast to prior work that relies on manually created rules, we report experiment with several supervised machine learning techniques to classify sentences as to whether they express conditions and actions. We show the limitations and possible extensions of this work on text mining of medical guidelines.

研究の動機と目的

• 手作業で作成された言語的規則に依存せずに、臨床ガイドラインから条件-行動文を抽出する機械学習ベースの手法を開発すること。
• 実世界の医療ガイドラインから得た高血圧、アスタマ、鼻副鼻腔炎の3つの新規で高品質なアノテート済みデータセットを作成し、研究用に公開すること。
• 品詞タグのようなドメインに依存しない特徴量を用いて、教師あり分類器を用いた条件-行動抽出のベースライン性能を確立すること。
• 提案手法の性能を既存の規則ベースのアプローチと比較し、限界と改善の余地を明らかにすること。
• 意味的および話法的情報を用いた未来の改善策を検討し、規則ベースシステムとの性能差を埋める。

提案手法

• 専門家による検証を経て、臨床ガイドラインの文を3つのクラス（条件-行動（CA）、条件-結果（CC）、条件なし（NC））にアノテートする。
• ドメイン固有の言語的規則を避けるために、主に品詞（POS）タグを特徴量セットとして使用する。
• 分類の前段階として、正規表現に基づく候補抽出を適用し、潜在的な条件-行動構造を同定する。
• 10分割交差検証を用いて、複数の分類器（ZeroR、ナイーブベイズ、J48、ランダムフォレスト）を訓練および評価する。
• Wekaを用いてモデルの訓練と評価を行い、精度、再現率、F-measureを性能指標として重点的に評価する。
• 再現可能性と今後の研究を支援するため、アノテート済みデータセットをDropbox経由で公開する。

実験結果

リサーチクエスチョン

• RQ1 ドメインに依存しない教師あり機械学習モデルは、医療ガイドラインの文を条件-行動、条件-結果、または条件なしに効果的に分類できるか？
• RQ2 特徴量ベースの自動分類の性能は、従来の規則ベースのアプローチと比較してどうなるか？
• RQ3 品詞タグのみで、臨床ガイドライン内の条件-行動文をどれほど正確に同定できるか？
• RQ4 新たにアノテートされた実世界の臨床ガイドラインコーパスにおける機械学習モデルのベースライン性能はどの程度か？
• RQ5 意味的および話法的特徴を活用することで、現在のモデルの性能を向上させ、規則ベースシステムとの差を埋められるか？

主な発見

• ランダムフォレスト分類器は、高血圧データセットで最高のF-measure 0.587を達成し、他の分類器を上回った。
• 鼻副鼻腔炎データセットでは、ランダムフォレストモデルがF-measure 0.535を達成し、中程度ではあるが有望な性能を示した。
• ナイーブベイズおよびJ48分類器は低いF-measureを示し、高血圧データセットで最高のF-measureは0.495であった。
• 本研究で提案する手法の性能は、WenzinaとKaiser（2013）が報告した規則ベースのアプローチ（同じアスタマデータセットで精度88％、再現率75％）に比べて低かった。
• 著者自身のアスタマコーパスに適用した場合、規則ベースの手法は僅か39％の再現率にとどまり、データセット構築およびアノテーションの差が顕著に現れた。
• 本研究では、完全に教師ありの特徴量ベースの学習に依存する自動条件-行動抽出の新しいベースラインを確立し、今後の研究を支援するための公開済みデータセットを提供した。