[논문 리뷰] Distributed Representation for Traditional Chinese Medicine Herb via Deep Learning Models

Wei Li, Yang Zheng|arXiv (Cornell University)|2017. 11. 06.

Traditional Chinese Medicine Studies참고 문헌 13인용 수 11

한 줄 요약

이 논문은 전체 처방을 시퀀스로 모델링하여 한약재 간의 호환성 패턴을 포착하는 Prescription Level Language Modeling (PLLM)을 제안한다. PLLM는 NLP 기반 언어 모델과 초보자 인간을 능가하며 전문가 평가와 0.5535의 스피어만 상관계수를 기록하여 TCM 약재 관계의 비지도 학습에서 효과를 입증한다.

ABSTRACT

Traditional Chinese Medicine (TCM) has accumulated a big amount of precious resource in the long history of development. TCM prescriptions that consist of TCM herbs are an important form of TCM treatment, which are similar to natural language documents, but in a weakly ordered fashion. Directly adapting language modeling style methods to learn the embeddings of the herbs can be problematic as the herbs are not strictly in order, the herbs in the front of the prescription can be connected to the very last ones. In this paper, we propose to represent TCM herbs with distributed representations via Prescription Level Language Modeling (PLLM). In one of our experiments, the correlation between our calculated similarity between medicines and the judgment of professionals achieves a Spearman score of 55.35 indicating a strong correlation, which surpasses human beginners (TCM related field bachelor student) by a big margin (over 10%).

연구 동기 및 목표

• 자연어처럼 엄격히 순서가 정해져 있지 않은 TCM 약재의 호환성 패턴을 반영할 수 있는 표현 방식을 개발하는 것.
• 전체 TCM 처방을 순차적 문장이 아닌 통합 단위로 모델링하는 딥러닝 방법을 개발하는 것.
• 학습 및 평가를 위해 80,000건이 넘는 디지털화된 TCM 처방으로 구성된 확장 가능하고 고품질의 데이터셋을 구축하는 것.
• 딥러닝을 활용해 TCM 전문가가 효과적인 약재 조합을 구성하는 데 도움을 줄 수 있는지의 가능성을 탐색하는 것.

제안 방법

• 각 TCM 처방을 약재 토큰의 시퀀스로 간주하고, 전체 처방을 중심 약재를 예측하기 위한 맥락으로 활용한다.
• 신경망 언어 모델 아키텍처(RNN 기반)를 사용하여 전체 처방 맥락을 바탕으로 중심 약재를 예측함으로써 통합 표현 학습을 가능하게 한다.
• 대규모 TCM 데이터셋에서의 학습 중 과적합을 방지하기 위해 조기 정지와 Adam 최적화 기법을 적용한다.
• 무작위로 선택된 약재를 마스킹하고 주변 맥락에서 예측하는 마스킹 예측 목적함수를 사용하여 학습한다.
• 앞서와 뒤로의 n-그램 확률을 조합하는 대칭적 스코링 함수를 도입하여 예측의 안정성을 향상시킨다.
• 분산 표현을 활용해 약재 간의 대수적 관계를 분석하며, word2vec 유사한 유추 패턴을 탐색한다.

실험 결과

연구 질문

• RQ1 처방 수준의 언어 모델링 접근 방식이 표준 NLP 기반 언어 모델링을 능가하는 바람직한 분산 표현을 효과적으로 학습할 수 있는가?
• RQ2 학습된 약재 임베딩이 전문가가 평가한 약재 호환성과 얼마나 높은 상관관계를 보이는가?
• RQ3 모델이 처방 내 누락된 약재를 예측할 수 있는가? 이는 임상 의사결정 지원에서의 실용성 여부를 시사한다.
• RQ4 학습된 임베딩이 가공된 형태와 생약 형태 간의 유추 관계와 같은 약재 간의 유사성 관계를 보이는가?
• RQ5 지역적 순차적 의존성만을 모델링하는 것보다 전체 처방을 단위로 모델링하는 것이 더 효과적인가?

주요 결과

• PLLM 모델은 전문가 평가와 0.5535의 스피어만 상관계수를 기록하였으며, 인간 초보자(0.4506)보다 10% 이상 높은 성능을 보였다.
• PLLM 모델은 206개의 처방으로 구성된 테스트 세트에서 누락된 약재 예측 정확도 32.04%를 기록하여, 이어지는 최고 성능 모델인 CBOW(20.39%)와 N-gram 기반 베이스라인(17.96%)을 모두 능가했다.
• CBOW 모델의 성능이 놀랍게 높았음(스피어만 49.33%)으로, 전반적 맥락의 평균화가 유용한 패턴을 포착할 수 있음을 시사하지만, PLLM의 통합 모델링 방식이 더 우수하다.
• 모델은 약재 임베딩 간의 선형 대수적 관계를 학습하였으며, 예를 들어 v[熟地黄] - v[生地黄] ≈ v[煨姜] - v[生姜]와 같은 관계를 발견하여, 이는 이론적 유추 능력의 잠재력을 보여준다.
• 전통적 방법인 LSA와 GloVe는 성능이 열등했으며(각각 38.61% 및 39.52%) 이는 국소적 상호작용를 간과하는 전반적 통계 기반 접근 방식의 한계 때문일 것이다.
• 결과적으로 TCM 특유의 호환성 규칙를 포착하기 위해서는 처방을 통합 단위로 모델링하는 것이 필수적임을 시사하며, 이는 표준 NLP 접근 방식으로서는 잘 모델링되지 않는다는 점을 시사한다.