[論文レビュー] Medical symptom recognition from patient text: An active learning approach for long-tailed multilabel distributions

Ali Mottaghi, Prathusha K Sarma+3 more|arXiv (Cornell University)|Nov 12, 2020

Topic Modeling参考文献 28被引用数 6

ひとこと要約

本稿では、長尾分布・多ラベル分布を示す医療症状認識のためのアクティブラーニング手法を提案する。潜在空間におけるクラスタリングを活用し、クラスタ中心付近の点とラベル付きデータから遠く離れた点の両方をバランスよく選択することで、限られたアノテーションデータと不均衡なラベル頻度の下でも、多ラベル分類において優れた性能を達成する。

ABSTRACT

We study the problem of medical symptoms recognition from patient text, for the purposes of gathering pertinent information from the patient (known as history-taking). A typical patient text is often descriptive of the symptoms the patient is experiencing and a single instance of such a text can be "labeled" with multiple symptoms. This makes learning a medical symptoms recognizer challenging on account of i) the lack of availability of voluminous annotated data as well as ii) the large unknown universe of multiple symptoms that a single text can map to. Furthermore, patient text is often characterized by a long tail in the data (i.e., some labels/symptoms occur more frequently than others for e.g "fever" vs "hematochezia"). In this paper, we introduce an active learning method that leverages underlying structure of a continually refined, learned latent space to select the most informative examples to label. This enables the selection of the most informative examples that progressively increases the coverage on the universe of symptoms via the learned model, despite the long tail in data distribution.

研究の動機と目的

• 患者が報告する複数の頻度の高い共起症状を認識する課題に取り組むこと。これは、しばしば長尾分布を示すラベル頻度を伴う。
• 大規模なアノテート済みデータセットへの依存を減らし、最小限の人的努力で効率的なアクティブラベリングを可能にすること。
• 潜在空間から多様で情報豊富な例を戦略的に選択することで、希少症状や新規症状のモデルカバレッジを向上させること。
• 既存のクラスタを活用する（イグノーレーション）と、新たな潜在クラスタを探索する（エクスプロレーション）の両方をバランスよく行う手法を開発し、医療分野における従来のアクティブラーニングの限界を克服すること。
• 時間の経過とともに症状認識を効率的に拡張できることで、スケーラブルかつ実世界での導入が可能な自動歴史聴取システムの実現を可能にすること。

提案手法

• 本手法は、患者のテキストを潜在空間に埋め込むための深層ニューラルネットワークを用い、医学的に意味のある意味的構造を捉える。
• アフィニティプロパゲーションを用いて、潜在空間内の未ラベル例をクラスタリングし、症状パターンに対応する密度の高い領域を同定する。
• 二つの目的をバランスさせるためのハイブリッド選択基準を採用する：クラスタ中心に近い点の選択（活用）と、既にラベル付きの点から遠く離れた点の選択（探索）。
• 選択基準は、ラベル付き点からの距離とクラスタ中心からの距離の重み付き組み合わせとして定式化され、トレードオフを制御する学習可能なハイパーパrameter λ が導入される。
• モデルは、この基準に基づき、最も情報量の多い例を繰り返し選択し、各ラベリングラウンド後に再訓練することで、潜在空間およびクラスタ構造を洗練させる。
• 本手法は、動的に新しいデータやクラスタの発見に適応することで、希少症状を含む潜在的すべての症状の宇宙を段階的にカバーするように設計されている。

実験結果

リサーチクエスチョン

• RQ1 患者テキストからの多ラベル・長尾分布の医療症状認識に、アクティブラーニングを効果的に適用する方法は何か？
• RQ2 潜在空間クラスタリングは、リソースが限られたが多様性の高い臨床的テキスト環境において、選択されたトレーニング例の多様性とカバレッジを向上させ得るか？
• RQ3 潜在空間の未到達領域を探索するのと、既知の密度の高い症状クラスタを活用するのとの最適なバランスは何か？
• RQ4 提案手法は、希少症状の多ラベルF1スコアおよび再現率において、既存のアクティブラーニングベースラインを上回る性能を示すか？
• RQ5 進化を続ける症状語彙や非標準的な患者の言語を伴う実世界のテレヘルスデータに対して、本手法はどの程度一般化可能か？

主な発見

• 提案手法は、特に希少症状のF1スコアおよび再現率において、最先端のベースラインを上回る多ラベル分類性能を達成した。
• アブレーションスタディの結果、最適なハイパーパrameter λ ≈ 0.1 が、新たなクラスタの探索と既存クラスタの活用の両方を最適にバランスさせ、純粋な探索や純粋な活用戦略を上回る性能を示した。
• t-SNE可視化による定性的分析により、本手法が潜在空間全体にわたり多様で均等に分散した例を選択していることが確認され、密度の高いクラスタとこれまで未発見の領域の両方をカバーしていることが示された。
• 本手法は、時間の経過とともにモデルのカバレッジを向上させ、以前に未発見だった症状を発見・ラベル付けすることができ、進化を続ける患者用語彙を伴う実世界のテレヘルス応用において極めて重要である。
• 限られたラベル付きデータでも強固な性能を維持しており、データ不足や長尾ラベル分布に対して耐性があることが示された。
• 本手法は、症状空間全体における情報量の最大化を優先して例を選択することで、アノテーションコストを削減しながらモデルの一般化性能を向上させる、効率的なデータラベリングを可能にした。