[論文レビュー] TCM-SD: A Benchmark for Probing Syndrome Differentiation via Natural Language Processing

Mucheng Ren, Heyan Huang+4 more|arXiv (Cornell University)|Mar 21, 2022

Traditional Chinese Medicine Studies被引用数 12

ひとこと要約

本稿では、自然言語処理（NLP）を用いた伝統的中国医学（TCM）症候分類（SD）のための、公開済みで大規模なベンチマーク「TCM-SD」を紹介する。本ベンチマークは148種の症候をカバーする54,152件の実臨床記録を含む。また、分野特化型事前学習言語モデル「ZY-BERT」を提案し、強力なベースラインを確立した。知識の統合と分野特化型事前学習が、特に複雑な推論やレアなTCM用語の処理において、SD性能を顕著に向上させることを示した。

ABSTRACT

Traditional Chinese Medicine (TCM) is a natural, safe, and effective therapy that has spread and been applied worldwide. The unique TCM diagnosis and treatment system requires a comprehensive analysis of a patient's symptoms hidden in the clinical record written in free text. Prior studies have shown that this system can be informationized and intelligentized with the aid of artificial intelligence (AI) technology, such as natural language processing (NLP). However, existing datasets are not of sufficient quality nor quantity to support the further development of data-driven AI technology in TCM. Therefore, in this paper, we focus on the core task of the TCM diagnosis and treatment system -- syndrome differentiation (SD) -- and we introduce the first public large-scale dataset for SD, called TCM-SD. Our dataset contains 54,152 real-world clinical records covering 148 syndromes. Furthermore, we collect a large-scale unlabelled textual corpus in the field of TCM and propose a domain-specific pre-trained language model, called ZY-BERT. We conducted experiments using deep neural networks to establish a strong performance baseline, reveal various challenges in SD, and prove the potential of domain-specific pre-trained language model. Our study and analysis reveal opportunities for incorporating computer science and linguistics knowledge to explore the empirical validity of TCM theories.

研究の動機と目的

• 伝統的中国医学（TCM）における症候分類（SD）のための高品質で大規模なデータセットの不足が、TCM分野におけるデータ駆動型AI開発を阻害しているという問題に対処すること。
• TCM分野におけるNLPタスク、特に核心的診断プロセスたる症候分類を焦点に、標準化され、公開可能なベンチマークを確立すること。
• TCM臨床テキストに特化した分野特化型事前学習言語モデル（ZY-BERT）を開発・検証し、下流のSDタスクにおける性能を向上させること。
• 稀な用語、暗黙の推論、知識不足といった、TCM SDにおける主な課題を明らかにし、外部知識やモデルアーキテクチャの影響を評価すること。

提案手法

• 148種の異なる症候をカバーする54,152件のTCM臨床記録から成る、大規模で現実世界のデータセットを構築し、症候分類のラベルを付与した。
• 分野特化型事前学習を支援するため、公開医療ウェブサイトから大規模な、ラベルなしTCM特化テキストコーパスを収集した。
• TCMコーパス上で事前学習された、分野適応型BERTベースの言語モデル「ZY-BERT」を提案した。
• 異なる入力形式（主訴、既往歴、または両方）に対応する、TCM-SDで微調整された複数のディープラーニングモデル（例：BERT、RoBERTa）を評価し、強力なパフォーマンスベースラインを確立した。
• 入力モodal（主訴対既往歴）の寄与度と外部知識検索の影響を分析するためのアブレーションスタディを実施した。
• TF-IDFベースの知識検索を用いてモデル入力を拡張し、その効果を評価した。また、知識の根拠付けにおける課題を浮き彫りにした。

実験結果

リサーチクエスチョン

• RQ1 標準的なNLPモデル（例：BERT、RoBERTa）は、実臨床テキストを用いたTCM症候分類タスクにどの程度一般化可能か？
• RQ2 外部知識を統合することで、TCMにおける症候分類の正確性と頑健性はどの程度向上するか？
• RQ3 暗黙の推論、稀な用語、知識不足といった、TCM SDにおける主な課題は何か。それらはモデル性能にどのように影響するか？
• RQ4 一般向けモデルと比較して、分野特化型事前学習言語モデル（ZY-BERT）は、TCM特有の意味的特徴をどの程度効果的に捉えられるか？
• RQ5 主訴と既往歴を粗いから細かい順に統合することで、単独で使用する場合よりも症候分類性能が向上するか？

主な発見

• TCM-SDデータセット全体で微調整されたRoBERTaモデルは、テスト精度82.26%、マクロF1スコア47.55%を達成し、今後の研究の強力なベースラインを確立した。
• 主訴のみを用いた場合、性能が著しく低下した（精度：71.58%）。これは、症候分類において包括的な臨床歴の重要性を示している。
• TF-IDF検索による外部知識の統合は性能向上に寄与したが、P@5はわずか3.94%にとどまり、TCM NLPにおける知識検索の課題が依然として深刻であることが示された。
• アブレーションスタディにより、主訴と既往歴の両方が独自に寄与しており、特に既往歴が分類に向けたより豊富な特徴を提供することが確認された。
• 誤差分析から、モデルはリソースが少ない症候、複雑な推論（例：時間的、否定的、数値的推論）、OoV（語彙外）のTCM特有用語に対して特に苦戦することが判明した。
• 本研究では、ZY-BERTによる分野特化型事前学習が、特に稀で分野特有の用語の処理において、TCM臨床テキストの理解を向上させることを実証した。