[論文レビュー] An unsupervised and customizable misspelling generator for mining noisy health-related text sources

Abeed Sarker, Graciela Gonzalez‐Hernandez|arXiv (Cornell University)|Jun 3, 2018

Topic Modeling参考文献 29被引用数 61

ひとこと要約

本稿では、密度的な単語埋め込みと意味的・語彙的フィルタリングを活用して、複雑な健康関連用語の一般的で意味的に関連する誤字を自動的に生成する、非教師ありでデータ中心の誤字生成手法を提示する。このシステムは、F1スコア0.69を達成し、がん関連用語に適用した際にはTwitterの検索効率が67%以上向上する。

ABSTRACT

In this paper, we present a customizable datacentric system that automatically generates common misspellings for complex health-related terms. The spelling variant generator relies on a dense vector model learned from large unlabeled text, which is used to find semantically close terms to the original/seed keyword, followed by the filtering of terms that are lexically dissimilar beyond a given threshold. The process is executed recursively, converging when no new terms similar (lexically and semantically) to the seed keyword are found. Weighting of intra-word character sequence similarities allows further problem-specific customization of the system. On a dataset prepared for this study, our system outperforms the current state-of-the-art for medication name variant generation with best F1-score of 0.69 and F1/4-score of 0.78. Extrinsic evaluation of the system on a set of cancer-related terms showed an increase of over 67% in retrieval rate from Twitter posts when the generated variants are included. Our proposed spelling variant generator has several advantages over the current state-of-the-art and other types of variant generators-(i) it is capable of filtering out lexically similar but semantically dissimilar terms, (ii) the number of variants generated is low as many low-frequency and ambiguous misspellings are filtered out, and (iii) the system is fully automatic, customizable and easily executable. While the base system is fully unsupervised, we show how supervision maybe employed to adjust weights for task-specific customization. The performance and significant relative simplicity of our proposed approach makes it a much needed misspelling generation resource for health-related text mining from noisy sources. The source code for the system has been made publicly available for research purposes.

研究の動機と目的

• ソーシャルメディアなどのノイズの多いテキストソースにおいて、複雑な医療用語の頻繁な誤字により関連データが見逃されてしまう問題に対処すること。
• 意味的・語彙的に妥当な誤字のみを生成する完全自動で非教師ありのシステムを開発すること。
• NLP や機械学習の専門知識が不要な研究者向けに、カスタマイズ可能で即時利用可能なツールを提供すること。
• 精度を制御可能なバリアント生成により、誤検出を低減し、API キーワード制限を最小限に抑えることで、データ収集の効率を向上させること。

提案手法

• システムは、大規模なラベルなしテキストから学習された事前学習済みの密度的ベクトルモデル（単語埋め込み）を用い、シードキーワードと意味的に類似する語を特定する。
• 再帰的フィルタリングを適用し、シード語と意味的に近い（埋め込み類似度で測定）かつ語彙的に近い（編集距離で測定）語のみを保持する。
• しきい値ベースのフィルタリング機構により、指定された語彙的および意味的距離内にあるバリアントのみを保持する。
• 文脈に応じて、語の内部文字列類似度に重みを付けることで、特定の用途に合わせた精度と再現率の微調整が可能である。
• デフォルトでは完全に非教師ありであるが、タスク固有のニーズに応じて軽量な教師あり学習により重みを調整可能である。
• Pythonで実装されており、外部依存性や手動でのキュレーションなしに、容易にデプロイ・カスタマイズ可能である。

実験結果

リサーチクエスチョン

• RQ1 既存の音声的またはルールベースの手法と比較して、データ中心の非教師ありアプローチは、複雑な医療用語に対してより正確で関連性の高いスペル変種を生成できるか？
• RQ2 生成された誤字を用いることで、ノイズの多いソース（例：Twitter）から実世界の健康関連コンテンツをどれほど効果的に検索できるか？
• RQ3 意味的および語彙的フィルタリングにより、誤検出（偽陽性）をどれほど低減できるか、同時に高い再現率を維持できるか？
• RQ4 再トレーニングなしで、アプリケーション固有の要件に応じて精度優先または再現率優先にカスタマイズできるか？
• RQ5 薬剤名や疾患用語など、異なる医療分野において、このシステムの性能はどのように変動するか？

主な発見

• 20種類の薬剤名からなるベンチマークデータセット上で、F1スコア0.69を達成し、現在の最先端技術を上回った。
• がん関連用語を用いた外部評価では、生成されたバリアントを組み込むことで、Twitterからの検索効率が67%以上向上した。
• 語彙的に類似しているが意味的に関連のない語をフィルタリングすることで、誤検出が顕著に低減され、精度が向上した。
• 重み付きバリアント生成モードにより、デュロキセチンとパロキセチンのような類縁薬剤について、誤検出が効果的に低減された。
• 少数ながら高品質なバリアントを生成したため、Twitterのようなキーワード制限のあるAPIでも利用可能である。
• 誤り分析の結果、埋め込み空間に十分に表現されていない低頻度の誤字が再現率の低下の主な要因であることが判明した。これにより、より大規模またはドメイン特化した学習データを用いることで、さらなる性能向上が期待できる。