[論文レビュー] Distributed Representation for Traditional Chinese Medicine Herb via Deep Learning Models

Wei Li, Yang Zheng|arXiv (Cornell University)|Nov 6, 2017

Traditional Chinese Medicine Studies参考文献 13被引用数 11

ひとこと要約

本稿では、処方全体をシーケンスとしてモデル化することで、漢方薬の分散表現を学習する処方水準言語モデル（PLLM）を提案する。この手法により、薬の相性パターンを捉えることができる。PLLMは自然言語処理（NLP）スタイルの言語モデルや人間の初心者を上回り、専門家の判断と0.5535のスピアマン相関を達成し、漢方薬の関係性を教師なし学習で効果的に学習できることを示している。

ABSTRACT

Traditional Chinese Medicine (TCM) has accumulated a big amount of precious resource in the long history of development. TCM prescriptions that consist of TCM herbs are an important form of TCM treatment, which are similar to natural language documents, but in a weakly ordered fashion. Directly adapting language modeling style methods to learn the embeddings of the herbs can be problematic as the herbs are not strictly in order, the herbs in the front of the prescription can be connected to the very last ones. In this paper, we propose to represent TCM herbs with distributed representations via Prescription Level Language Modeling (PLLM). In one of our experiments, the correlation between our calculated similarity between medicines and the judgment of professionals achieves a Spearman score of 55.35 indicating a strong correlation, which surpasses human beginners (TCM related field bachelor student) by a big margin (over 10%).

研究の動機と目的

• 自然言語のように厳密に順序付けられていない、漢方薬の相性パターンを捉える方法で、漢方薬を表現する課題に対処すること。
• 自然言語の文としての逐次的シーケンスではなく、処方全体を統合的単位としてモデル化する深層学習手法を開発すること。
• 学習および評価のための、80,000件を超えるデジタル化済みの漢方処方を含むスケーラブルで高品質なデータセットを作成すること。
• 深層学習を用いて漢方医師が効果的な薬の組み合わせを.compose するのを支援する可能性を検討すること。

提案手法

• 各漢方処方を薬のトークンのシーケンスとしてモデル化し、全処方を中央薬の予測の文脈として扱う。
• RNNベースのニューラル言語モデルアーキテクチャを用い、全処方の文脈に基づいて中央薬を予測することで、統合的表現学習を可能にする。
• 大規模な漢方薬データセットでの学習中に過学習を防ぐために、エアリー・ストッピングとAdam最適化を適用する。
• ランダムにマスクされた薬を周囲む文脈から予測する、マスク済み予測目的を用いてモデルを学習する。
• 前方および後方n-gram確率を組み合わせた対称的スコア関数を用い、予測のロバストネスを向上させる。
• 分散表現を活用して、word2vecに類似した類推的パターンのような、薬の間の代数的関係を分析する。

実験結果

リサーチクエスチョン

• RQ1 処方水準の言語モデル化アプローチは、標準的なNLPベースの言語モデルよりも、意味的な分散表現を効果的に学習できるか？
• RQ2 学習された薬の埋め込みは、専門家による薬の相性判断とどの程度相関しているか？
• RQ3 モデルは処方における欠落した薬の予測に役立つのか。臨床意思決定支援における実用性を示しているか？
• RQ4 学習された埋め込みは、加工済みと生薬の形態の間のような類推的関係を示すか？
• RQ5 局所的な逐次的依存関係のみをモデル化するのではなく、処方全体を1つの単位としてモデル化するほうが、より効果的か？

主な発見

• PLLMモデルは、専門家の薬の相性判断と0.5535のスピアマン相関を達成し、人間の初心者（0.4506）を10ポイント以上上回った。
• PLLMモデルは、206件の処方からなるテストセットにおいて、欠落した薬の予測で32.04％の正確度を達成し、次に良いモデル（CBOW：20.39％）とN-gramベースライン（17.96％）を上回った。
• CBOWモデルは予想に反して高い性能（スピアマン相関49.33％）を示し、グローバルな文脈の平均化が有用なパターンを捉えられることを示唆したが、PLLMの統合的モデリングが優れている。
• モデルは薬の埋め込み間で線形代数的関係を学習しており、例として v[熟地黄] - v[生地黄] ≈ v[煨姜] - v[生姜] のような関係が得られ、類推的推論の可能性を示した。
• 伝統的手法のLSAやGloVeは、それぞれ38.61％および39.52％の性能にとどまり、局所的な薬の相互作用を無視するグローバル統計に依存するため、劣った。
• 結果から、漢方特有の相性ルールを捉えるには、処方全体を統合的にモデリングすることが不可欠であり、標準的なNLPアプローチでは十分にモデル化できないことが示唆された。