[논문 리뷰] Medical Knowledge Embedding Based on Recursive Neural Network for Multi-Disease Diagnosis

Jingchi Jiang, Huanzheng Wang외 4명|arXiv (Cornell University)|2018. 09. 22.

Machine Learning in Healthcare참고 문헌 31인용 수 3

한 줄 요약

이 논문은 중국 전자 의료 기록(CEMR)에서 진단 중심 지식 임bedding을 생성하기 위해 일阶논리 기반 의료 지식과 재귀 신경망을 통합한 재귀 신경 지식 네트워크(RNKN)를 제안한다. 수동으로 주석이 달린 CEMR로 훈련된 RNKN은 전통적인 기계 학습 모델과 마르코프 논리 네트워크(Markov Logic Networks)에 비해 뛰어난 진단 정확도를 달성하며, 증거의 명확성이 높아질수록 성능이 향상된다.

ABSTRACT

The representation of knowledge based on first-order logic captures the richness of natural language and supports multiple probabilistic inference models. Although symbolic representation enables quantitative reasoning with statistical probability, it is difficult to utilize with machine learning models as they perform numerical operations. In contrast, knowledge embedding (i.e., high-dimensional and continuous vectors) is a feasible approach to complex reasoning that can not only retain the semantic information of knowledge but also establish the quantifiable relationship among them. In this paper, we propose recursive neural knowledge network (RNKN), which combines medical knowledge based on first-order logic with recursive neural network for multi-disease diagnosis. After RNKN is efficiently trained from manually annotated Chinese Electronic Medical Records (CEMRs), diagnosis-oriented knowledge embeddings and weight matrixes are learned. Experimental results verify that the diagnostic accuracy of RNKN is superior to that of some classical machine learning models and Markov logic network (MLN). The results also demonstrate that the more explicit the evidence extracted from CEMRs is, the better is the performance achieved. RNKN gradually exhibits the interpretation of knowledge embeddings as the number of training epochs increases.

연구 동기 및 목표

• 심벌 의료 지식을 신경망과 통합하여 다질환 진단을 향상시키는 도전 과제를 해결하기 위해.
• 의미적 의미를 유지하고 임계적 추론이 가능한 임베딩 프레임워크를 개발하기 위해.
• 수동으로 주석이 달린 중국 전자 의료 기록(CEMR)을 기반으로 진단 중심 지식 표현을 학습하기 위해.
• 제안된 모델의 성능을 전통적 기계 학습 모델과 마르코프 논리 네트워크(MLN)와 비교하기 위해.
• 학습 에포크 수에 따라 학습된 지식 임베딩의 해석 가능성 변화를 조사하기 위해.

제안 방법

• 제안된 RNKN 모델은 일阶논리로 표현된 의료 지식을 처리하기 위해 재귀 신경망을 사용하여 계층적 표현 학습을 가능하게 한다.
• 의료 사실로부터 의미적 및 관계적 정보를 캡처하는 고차원 연속 벡터 표현(지식 임베딩)을 학습한다.
• 진단 예측 최적화를 위해 수동으로 주석이 달린 중국 전자 의료 기록(CEMR)에서 엔드 투 엔드로 훈련된다.
• 지식 임베딩과 가중치 행렬이 동시에 학습되어 진단 관련성과 논리적 구조를 모두 캡처한다.
• 재귀 아키텍처는 논리 하위구조를 통해 정보를 전파할 수 있게 하여 복잡한 질병 간 관계를 모델링한다.
• 학습 에포크에 따른 임베딩의 해석 가능성은 임베딩의 진화를 분석하여 평가된다.

실험 결과

연구 질문

• RQ1 재귀 신경망은 일阶논리 기반 의료 지식에서 진단 중심 지식 임베딩을 효과적으로 학습할 수 있는가?
• RQ2 RNKN의 진단 정확도는 전통적 기계 학습 모델과 마르코프 논리 네트워크(MLN)에 비해 어떻게 비교되는가?
• RQ3 CEMR에서 추출된 증거의 명확성이 모델 성능에 어느 정도 영향을 미치는가?
• RQ4 학습이 진행됨에 따라 학습된 지식 임베딩의 해석 가능성은 어떻게 변화하는가?
• RQ5 모델는 복잡하고 구조화된 의료 지식을 포괄하고 추론할 수 있으며, 동시에 딥러닝과의 수치적 호환성을 유지할 수 있는가?

주요 결과

• RNKN은 여러 전통적 기계 학습 모델과 마르코프 논리 네트워크(MLN)보다 높은 진단 정확도를 달성한다.
• 모델의 성능은 중국 전자 의료 기록(CEMR)에서 추출된 증거가 더 명확하고 명시적일수록 뚜렷하게 향상된다.
• 학습이 진행됨에 따라 지식 임베딩은 점점 더 해석 가능해지며, 의미적이고 관계적인 패턴을 반영한다.
• 지식 임베딩과 가중치 행렬의 공동 학습은 구조화된 의료 지식에 대한 효과적인 추론을 가능하게 한다.
• 재귀 신경 아키텍처는 진단을 위한 의료 지식의 계층적 및 관계적 구조를 성공적으로 캡처한다.
• 결과는 심벌 논리와 딥러닝을 융합하여 다질환 진단에서 임상 추론을 수행하는 것이 가능하다는 것을 입증한다.