[論文レビュー] IAM at CLEF eHealth 2018: Concept Annotation and Coding in French Death Certificates

Sébastien Cossin, Vianney Jouhet+3 more|arXiv (Cornell University)|Jul 10, 2018

Biomedical Text Mining and Ontologies被引用数 5

ひとこと要約

本論文は、正規化語一致、レーベンシュタイン距離による綴り間違い訂正、および省略語処理を用いた語彙ベースのアプローチを提案し、フランス語の死亡証明書のICD-10コード割り当てを実施する。このシステムは、CLEF eHealth 2018チャレンジにおける平均参加者を上回り、Fスコア0.786（精度: 0.794、再現率: 0.779）を達成した。

ABSTRACT

In this paper, we describe the approach and results for our participation in the task 1 (multilingual information extraction) of the CLEF eHealth 2018 challenge. We addressed the task of automatically assigning ICD-10 codes to French death certificates. We used a dictionary-based approach using materials provided by the task organizers. The terms of the ICD-10 terminology were normalized, tokenized and stored in a tree data structure. The Levenshtein distance was used to detect typos. Frequent abbreviations were detected by manually creating a small set of them. Our system achieved an F-score of 0.786 (precision: 0.794, recall: 0.779). These scores were substantially higher than the average score of the systems that participated in the challenge.

研究の動機と目的

• ルールベースのシステムを用いて、フランス語の死亡証明書に対してICD-10コードを自動割り当てる。
• 医師が入力したテキストにおける綴りのばらつきや省略語に対しても、医学用語の認識を向上させる。
• 一般用途の意味的アノテーションツールの、共通の生物医学的NLPチャレンジにおける性能を評価する。
• 外部のICD-10用語の導入が、システムの再現率と精度に与える影響を調査する。
• 特に単独の形容詞や複合語に対する語の検出における制限を特定する。

提案手法

• 2つの語彙を構築した: 1つはトレーニングセット内のヒューマンコード語彙（ラン2）から、もう1つは2015年版ICD-10用語を追加して拡張したもの（ラン1）。
• 語を正規化し、 diacritics（変音符号）を除去し、句読点を削除し、小文字に変換し、ストップワードを除去した。
• 語をトークン化し、各ルートからリーフまでのパスがN-gram語を表す木構造に格納した。
• 各トークンに対して3つの照合手法を用いた: 完全一致、省略語照合（手動で整備したリストから）、綴り間違い検出のためのレーベンシュタイン距離。
• Lucene™を用いて効率的な文字列照合を実現し、ユニグラムおよびビグラムインデックスを活用して複合語を解消した。
• 各ステップで最も長い認識語を選択し、有効な継続が見つからなかった場合は、木構造のルートから再検索を開始した。

実験結果

リサーチクエスチョン

• RQ1 綴り間違い訂正および省略語処理を併せ持つ語彙ベースのシステムは、医師が記入した死亡証明書のテキストをICD-10コードに効果的にマッピングできるか？
• RQ2 外部ICD-10用語の導入は、コード割り当てにおける再現率と精度にどのような影響を与えるか？
• RQ3 単独の形容詞が語認識に与える影響は何か？ また、その影響を軽減できるか？
• RQ4 一般用途のアノテーションツールの性能は、共通ベンチマークにおいて専用システムと比較してどうか？
• RQ5 レーベンシュタイン距離とN-gramインデックスは、語の変種認識をどの程度向上できるか？

主な発見

• ラン2では、トレーニングセットからのヒューマンコード語彙のみを用いたため、Fスコア0.786（精度: 0.794、再現率: 0.779）を達成した。
• ラン1では2015年版ICD-10用語を追加したが、再現率（0.772）とFスコア（0.777）がわずかに低下し、追加用語が性能向上に寄与しなかったことが示された。
• 平均参加者（Fスコア0.634）および中央参加者（Fスコア0.641）を上回る性能を示した。
• 主な制限要因として、形容詞が孤立している場合（例: 「metastase hepatique et renale」における「renale」）の語の検出失敗が確認された。
• 頻出する省略語を手動で追加することで再現率が向上したが、自動化すればさらに性能向上が見込める。
• 後処理によるフィルタリングや機械学習技術の統合は、精度向上および不要なコードの処理のための今後の課題である。