[논문 리뷰] Automatic construction of Chinese herbal prescription from tongue image via CNNs and auxiliary latent therapy topics

Yang Hu, Guihua Wen외 4명|arXiv (Cornell University)|2018. 01. 23.

Traditional Chinese Medicine Studies참고 문헌 34인용 수 6

한 줄 요약

이 논문은 심층 학습 프레임워크를 제안하며, 합성곱 신경망(CNN)과 보조 잠재 치료 주제 손실을 활용해 혀 이미지에서 자동으로 중약 처방을 생성한다. 이 방법은 임상 지식을 통합하고 희박한 레이블 분포를 다루어 고해상도의 처방 생성을 실현하며, 실생활 모바일 헬스케어 응용 분야에서의 실현 가능성을 입증한다.

ABSTRACT

The tongue image provides important physical information of humans. It is of great importance for diagnoses and treatments in clinical medicine. Herbal prescriptions are simple, noninvasive and have low side effects. Thus, they are widely applied in China. Studies on the automatic construction technology of herbal prescriptions based on tongue images have great significance for deep learning to explore the relevance of tongue images for herbal prescriptions, it can be applied to healthcare services in mobile medical systems. In order to adapt to the tongue image in a variety of photographic environments and construct herbal prescriptions, a neural network framework for prescription construction is designed. It includes single/double convolution channels and fully connected layers. Furthermore, it proposes the auxiliary therapy topic loss mechanism to model the therapy of Chinese doctors and alleviate the interference of sparse output labels on the diversity of results. The experiment use the real world tongue images and the corresponding prescriptions and the results can generate prescriptions that are close to the real samples, which verifies the feasibility of the proposed method for the automatic construction of herbal prescriptions from tongue images. Also, it provides a reference for automatic herbal prescription construction from more physical information.

연구 동기 및 목표

• 협저 이미지에서 중약 처방을 자동으로 생성하는 시스템을 개발하여 전문가 진단에 대한 의존도를 낮추는 것.
• 심층 학습을 활용해 중약 처방 데이터셋에서 희박하고 균형이 깨진 레이블 분포 문제를 해결하는 것.
• 심층 신경망 학습 과정에 전통 중국의학 지식(치료 주제)을 통합하여 임상적으로 유의미한 출력을 도출하는 것.
• 다양한 사진 조건의 혀 이미지를 다룰 수 있도록 하여 실생활 모바일 헬스 시스템에 실용적으로 구현할 수 있도록 하는 것.

제안 방법

• 협저 이미지에서 다중 척도 특징을 추출하기 위해 단일 및 이중 합성곱 채널을 갖춘 이중 브랜치 CNN 아키텍처를 설계함.
• 추출된 특징을 잠재적인 중약 처방으로 매핑하기 위해 완전 연결층을 사용함.
• 잠재 치료 주제 기반 보조 손실을 도입하여 모델이 전통 중국의학 원칙에 부합하는 처방 생성을 유도함.
• 치료 주제 손실은 레이블 희박성을 완화하기 위해 생성된 처방의 다양성과 임상적 일관성을 증진시킴.
• 실생활 혀 이미지와 해당하는 중약 처방이 짝지어진 데이터셋을 기반으로 엔드 투 엔드로 프레임워크를 훈련함.
• 실제 혀 이미지와 그에 해당하는 처방으로 구성된 데이터셋에서 성능을 평가하며, 기준값 샘플과의 비교를 통해 성능을 측정함.

실험 결과

연구 질문

• RQ1 수동적 특징 엔지니어링 없이 심층 학습 모델이 혀 이미지에서 정확하게 중약 처방을 추론할 수 있는가?
• RQ2 보조 치료 주제 모델링이 생성된 처방의 임상적 관련성과 다양성에 얼마나 효과적으로 기여하는가?
• RQ3 제안된 방법이 혀 이미지의 다양한 사진 조건에 대해 얼마나 일반화되는가?
• RQ4 잠재 치료 주제의 통합이 희박한 레이블 분포가 처방 생성에 악영향을 미치는 데에 얼마나 효과적으로 대비하는가?
• RQ5 임상 정확성과 유사도 측면에서 모델의 출력이 실제 임상 처방과 얼마나 가까운가?

주요 결과

• 제안된 모델는 실제 임상 처방과 매우 유사한 중약 처방을 생성하여 자동 진단의 강력한 실현 가능성을 입증함.
• 보조 치료 주제 손실의 통합으로 생성된 처방의 다양성과 임상적 일관성이 크게 향상됨.
• 다양한 사진 조건에서도 안정적인 성능을 보이며, 실생활 모바일 헬스케어 응용 분야에서의 실용성 확인됨.
• 정량적 평가에서 모델는 기준 방법 대비 처방 생성 정확도와 레이블 커버리지 측면에서 뛰어난 성능을 보임.
• 이 방법은 혀 이미지 외의 다른 신체 진단 지표로 자동 처방 생성을 확장하는 데 실용적인 기준을 제공함.