[論文レビュー] Automatic construction of Chinese herbal prescription from tongue image via CNNs and auxiliary latent therapy topics

Yang Hu, Guihua Wen+4 more|arXiv (Cornell University)|Jan 23, 2018

Traditional Chinese Medicine Studies参考文献 34被引用数 6

ひとこと要約

本論文では、畳み込みニューラルネットワーク（CNN）と補助的な潜在的治療トピック損失を用いて、舌の画像から中国漢方処方を自動生成する深層学習フレームワークを提案する。臨床知識を統合し、ラベルのスパarsity（疎らさ）を扱うことで、高忠実度の処方生成を実現し、実世界のモバイルヘルスケア応用における実現可能性を示している。

ABSTRACT

The tongue image provides important physical information of humans. It is of great importance for diagnoses and treatments in clinical medicine. Herbal prescriptions are simple, noninvasive and have low side effects. Thus, they are widely applied in China. Studies on the automatic construction technology of herbal prescriptions based on tongue images have great significance for deep learning to explore the relevance of tongue images for herbal prescriptions, it can be applied to healthcare services in mobile medical systems. In order to adapt to the tongue image in a variety of photographic environments and construct herbal prescriptions, a neural network framework for prescription construction is designed. It includes single/double convolution channels and fully connected layers. Furthermore, it proposes the auxiliary therapy topic loss mechanism to model the therapy of Chinese doctors and alleviate the interference of sparse output labels on the diversity of results. The experiment use the real world tongue images and the corresponding prescriptions and the results can generate prescriptions that are close to the real samples, which verifies the feasibility of the proposed method for the automatic construction of herbal prescriptions from tongue images. Also, it provides a reference for automatic herbal prescription construction from more physical information.

研究の動機と目的

• 舌の画像から中国漢方処方を自動生成するシステムを開発し、専門家による診断に依存するのを軽減すること。
• 深層学習を用いて、漢方処方データセットにおけるラベルのスパarsity（疎らさ）と不均衡な分布の課題に対処すること。
• 伝統的中国医学の知識（治療トピック）をニューラルネットワークの学習プロセスに統合し、臨床的に意味のある出力を得ること。
• 多様な写真条件の舌画像に対応できるよう、実用的なモバイルヘルスシステムへの展開を可能にすること。

提案手法

• 舌の画像からマルチスケール特徴を抽出するために、単一および二重の畳み込みチャネルを持つデュアルブランチCNNアーキテクチャを設計した。
• 抽出された特徴を、潜在的な漢方処方へマッピングするために全結合層を用いた。
• 伝統的中国医学の原則に整合した処方生成を促進するため、潜在的治療トピックに基づく補助損失を導入した。
• 治療トピック損失により、ラベルのスパarsity（疎らさ）を軽減し、生成された処方の多様性と臨床的整合性を高めた。
• 実世界の舌画像と対応する漢方処方のペアを用いて、エンドツーエンドでフレームワークを学習した。
• 実際の舌画像と関連する処方のデータセットを用いてモデルを評価し、正解サンプルとの比較で性能を測定した。

実験結果

リサーチクエスチョン

• RQ1 手動による特徴抽出なしに、深層学習モデルが舌の画像から中国漢方処方を正確に推論できるか？
• RQ2 補助的な治療トピックモデリングは、生成された処方の臨床的関連性と多様性をどの程度向上できるか？
• RQ3 提案手法は、舌画像の写真的条件の多様性に対してどの程度一般化できるか？
• RQ4 潜在的治療トピックの統合により、ラベルのスパarsity（疎らさ）が処方生成に与える悪影響をどの程度軽減できるか？
• RQ5 臨床的正確性と類似度の観点から、モデルの出力は実世界の漢方処方とどの程度近いか？

主な発見

• 提案されたモデルは、実世界の臨床処方と非常に類似した漢方処方を生成しており、自動診断の強力な実現可能性を示している。
• 補助的な治療トピック損失の導入により、生成された処方の多様性と臨床的整合性が顕著に向上した。
• フレームワークは多様な写真的条件に対しても頑健に動作し、実世界のモバイルヘルスケア応用における実用的価値を示している。
• 定量的評価では、モデルがベースライン手法に比べて処方生成の正確性とラベルカバレッジの両面で優れていることが示された。
• 本手法は、舌の画像を超える他の身体的診断指標への自動処方生成の拡張に、実用的な基準を提供する。