[論文レビュー] Mapping Unparalleled Clinical Professional and Consumer Languages with Embedding Alignment

Wei‐Hung Weng, Peter Szolovits|arXiv (Cornell University)|Jun 25, 2018

Biomedical Text Mining and Ontologies参考文献 23被引用数 6

ひとこと要約

本稿では、MIMIC-III データセットからのサブワードレベルの埋め込みを用い、臨床医療用語を一般向け言語に変換するための教師なし埋め込み整合手法を提案する。Procrustes法を用い、アンカーワードを介してサブワード埋め込みを整列させることで、より高品質な単語レベルのマッピングを達成し、大規模な一般コロナスとは対照的に優れた性能を示し、スケーラブルでオントロジー不要の患者・医師間コミュニケーションツールの可能性を示している。

ABSTRACT

Mapping and translating professional but arcane clinical jargons to consumer language is essential to improve the patient-clinician communication. Researchers have used the existing biomedical ontologies and consumer health vocabulary dictionary to translate between the languages. However, such approaches are limited by expert efforts to manually build the dictionary, which is hard to be generalized and scalable. In this work, we utilized the embeddings alignment method for the word mapping between unparalleled clinical professional and consumer language embeddings. To map semantically similar words in two different word embeddings, we first independently trained word embeddings on both the corpus with abundant clinical professional terms and the other with mainly healthcare consumer terms. Then, we aligned the embeddings by the Procrustes algorithm. We also investigated the approach with the adversarial training with refinement. We evaluated the quality of the alignment through the similar words retrieval both by computing the model precision and as well as judging qualitatively by human. We show that the Procrustes algorithm can be performant for the professional consumer language embeddings alignment, whereas adversarial training with refinement may find some relations between two languages.

研究の動機と目的

• 臨床用語と一般用語の違いが引き起こす医師・患者間の意思疎通ギャップを解消すること。
• 専門家が手作業で整備した辞書に依存せずに、スケーラブルで教師なしの方法で臨床専門用語を一般理解可能な語にマッピングすること。
• 特にProcrustes法と敵対的学習を用いた埋め込み整合技術の、臨床テキストにおける言語間マッピングへの有効性を評価すること。
• MIMIC-III などの臨床ナラティブデータから学習した埋め込みが、PubMed や Wikipedia などの大規模で一般向けのコロナスよりも優れた性能を示すかどうかを検証すること。
• 共通の文字列アンカーを用いた最小限の監視で、専門語と一般語の意味空間の整合を学習する可能性を検討すること。

提案手法

• MIMIC-III の退院要約に含まれる臨床専門用語を豊富に含むコーパスと、一般向けの健康用語を含むコーパスの両方で、サブワードレベルの単語埋め込みを独立して学習する。
• Procrustes法を用い、アンカーワードを介して、整列済み埋め込みとターゲット埋め込みの差のフロベニウスノルムを最小化することで、2つの埋め込み空間を整列させる。
• 微調整を伴う敵対的学習を実装し、専門語と一般語の埋め込み間で共有され、分離可能な表現空間を学習する。
• 主成分分析（PCA）を用いて、共有埋め込み空間における整列の質を可視化し、定性的に評価する。
• 最近接探索による評価で、与えられた臨床専門用語と意味的に類似した一般用語を検索する。
• 得られた語群ペアについて、定量的（正確度）および定性的（人間による判断）な両面から結果を検証する。

実験結果

リサーチクエスチョン

• RQ1 医療用語と一般用語の間の意味的マッピングを、生物医学的オントロジーまたは辞書に依存せずに、教師なしの埋め込み整合によって効果的に実現できるか？
• RQ2 MIMIC-III などの臨床ナラティブデータから学習した埋め込みが、PubMed や Wikipedia などの大規模で一般向けのコロナスよりも優れた整列性能を示すか？
• RQ3 アンカーワードを用いたProcrustes法と、微調整を伴う敵対的学習の両手法が、専門語と一般語の意味的関係をどの程度正しく捉えられるかを比較する。
• RQ4 整列済み埋め込みが、解剖学的用語や疾患関連概念といった意味的クラスタを、言語タイプを超えて正しく捉えられるか？
• RQ5 共通の文字列アンカーは、異なる埋め込み空間の整列品質を向上させる役割を果たすか？

主な発見

• アンカーワードを用いたProcrustes法は、他の手法を大きく上回り、臨床専門用語に対して意味的に類似した一般用語を高い正確度で検索できた。
• MIMIC-III 臨床ナラティブコーパスから学習した埋め込みは、PubMed や Wikipedia などの大規模で一般向けのコロナスから学習した埋め込みよりも、整列性能が優れていた。
• Procrustesで整列された埋め込みは、『腫瘍』『がん』『悪性腫瘍』といった意味的に関連する語を正しくクラスタリングし、『epistaxis』（鼻出血）を『nosebleed』に高精度でマッピングした。
• 微調整を伴う敵対的学習は全体的な性能は限定的だったが、特に解剖学的用語に関する専門語と一般語の意味的関係を捉えており、PCA による可視化で明確に確認された。
• 専門家が手作業で整備した辞書や大量の人的監視を一切必要とせず、コーパス間の共通文字列アンカーのみに依存して、効果的な単語レベルのマッピングが達成された。
• 人間による評価では、Procrustesで整列された埋め込みを用いて検索された上位10件の近傍語が、臨床用語の適切で文脈的に関連性のある一般用語としてしばしば適切であることが確認された。