[논문 리뷰] TCM-SD: A Benchmark for Probing Syndrome Differentiation via Natural Language Processing

Mucheng Ren, Heyan Huang외 4명|arXiv (Cornell University)|2022. 03. 21.

Traditional Chinese Medicine Studies인용 수 12

한 줄 요약

이 논문은 자연어처리(NLP)를 활용한 전통중의약(TCM) 증후분별(SD)을 위한 첫 번째 공개 대규모 벤치마크인 TCM-SD를 소개한다. 이 벤치마크는 148종의 증후를 포함해 총 54,152건의 실제 임상 기록으로 구성되어 있으며, 분야 전용 사전학습 언어 모델인 ZY-BERT를 제안하고 강력한 베이스라인을 수립하여 지식 통합과 분야 특화 사전학습이 복잡한 추론 및 희귀한 TCM 용어 처리에 특히 유의미하게 성능 향상을 이룬다는 것을 입증한다.

ABSTRACT

Traditional Chinese Medicine (TCM) is a natural, safe, and effective therapy that has spread and been applied worldwide. The unique TCM diagnosis and treatment system requires a comprehensive analysis of a patient's symptoms hidden in the clinical record written in free text. Prior studies have shown that this system can be informationized and intelligentized with the aid of artificial intelligence (AI) technology, such as natural language processing (NLP). However, existing datasets are not of sufficient quality nor quantity to support the further development of data-driven AI technology in TCM. Therefore, in this paper, we focus on the core task of the TCM diagnosis and treatment system -- syndrome differentiation (SD) -- and we introduce the first public large-scale dataset for SD, called TCM-SD. Our dataset contains 54,152 real-world clinical records covering 148 syndromes. Furthermore, we collect a large-scale unlabelled textual corpus in the field of TCM and propose a domain-specific pre-trained language model, called ZY-BERT. We conducted experiments using deep neural networks to establish a strong performance baseline, reveal various challenges in SD, and prove the potential of domain-specific pre-trained language model. Our study and analysis reveal opportunities for incorporating computer science and linguistics knowledge to explore the empirical validity of TCM theories.

연구 동기 및 목표

• 전통중의약(TCM)의 증후분별(SD)을 위한 고품질 대규모 데이터셋의 부족으로 인해 TCM 분야의 데이터 기반 AI 개발이 저해되고 있는 문제를 해결하기 위해.
• TCM 분야의 NLP 작업을 위한 표준화된 공개 벤치마크를 구축하여, 특히 증후분별을 핵심 진단 과정으로 삼는다.
• TCM 임상 텍스트에 특화된 분야 전용 사전학습 언어 모델(ZY-BERT)을 개발하고 검증하여 후속 SD 작업의 성능 향상을 도모한다.
• 희귀 용어, 암묵적 추론, 지식 부족과 같은 TCM SD의 핵심 과제를 규명하고, 외부 지식과 모델 아키텍처의 영향을 평가한다.

제안 방법

• 148종의 다양한 증후를 포함한 실제 임상 기록 총 54,152건으로 구성된 대규모 실생활 임상 데이터셋을 구축하여 증후분별에 대한 주석을 부여하였다.
• 분야 특화 사전학습을 지원하기 위해 공공 의료 웹사이트에서 확보한 대규모 비라벨 TCM 전용 텍스트 코퍼스를 수집하였다.
• TCM 코퍼스 기반으로 사전학습된 BERT 기반의 분야 적응형 언어 모델인 ZY-BERT를 제안하여 TCM 고유의 언어적 및 의미적 패턴을 더 잘 포착하도록 하였다.
• TCM-SD에 대해 미세조정된 다양한 딥러닝 모델(예: BERT, RoBERTa)을 평가하여, 주요 증상, 병력 또는 둘 다의 입력 형식에 따라 강력한 성능 기준을 수립하였다.
• 다양한 입력 모odal(주요 증상 대비 병력)의 기여도와 외부 지식 검색의 영향을 분석하기 위해 추상화 연구(ablation study)를 수행하였다.
• TF-IDF 기반 지식 검색을 통해 모델 입력을 보강하고, 성능에 미치는 영향을 평가하며 지식 기반 문제 해결의 과제를 부각시켰다.

실험 결과

연구 질문

• RQ1 표준 NLP 모델(예: BERT, RoBERTa)이 실제 임상 텍스트를 사용한 TCM 증후분별 작업에 일반화되는 정도는 어떠한가?
• RQ2 외부 지식을 통합할 경우 TCM 증후 분류의 정확성과 강건성은 어느 정도 향상되는가?
• RQ3 암묵적 추론, 희귀 용어, 지식 부족 등 TCM SD의 핵심 과제는 무엇이며, 이는 모델 성능에 어떤 영향을 미치는가?
• RQ4 일반 목적 모델 대비 분야 전용 사전학습 언어 모델(ZY-BERT)이 TCM 고유 의미를 포착하는 데 얼마나 효과적인가?
• RQ5 주요 증상과 병력을 굵기에서 세밀한 방식으로 통합할 경우, 단독으로 사용할 때보다 증후 분류 성능이 향상되는가?

주요 결과

• TCM-SD 데이터셋 전체에 대해 미세조정된 RoBERTa 모델은 테스트 정확도 82.26%와 매크로-F1 점수 47.55%를 기록하여 향후 연구를 위한 강력한 기준을 확립하였다.
• 주요 증상만을 사용할 경우 성능이 크게 떨어졌으며(정확도: 71.58%), 이는 증후분별에서 종합적인 임상 병력의 중요성을 강조한다.
• TF-IDF 기반 지식 검색을 통한 외부 지식 통합은 성능 향상을 이끌었지만, P@5는 3.94%에 그쳐 지식 검색이 여전히 TCM NLP에서 주요 과제로 남아 있음을 시사한다.
• 추상화 연구를 통해 주요 증상과 병력 모두가 고유하게 기여하며, 병력이 분류에 더 풍부한 특징을 제공한다는 것이 확인되었다.
• 오류 분석 결과, 모델는 자원이 적은 증후, 복잡한 추론(예: 시간적, 부정적, 수치적 추론) 및 어휘에 없는 TCM 고유 용어 처리에 가장 어려움을 겪는 것으로 나타났다.
• ZY-BERT를 통한 분야 전용 사전학습이 희귀어 및 분야 특화 용어 처리에 특히 효과적으로 TCM 임상 텍스트 이해 능력을 향상시킨다는 것이 입증되었다.