[논문 리뷰] Unifying Neural Learning and Symbolic Reasoning for Spinal Medical Report Generation

Zhongyi Han, Benzheng Wei외 2명|arXiv (Cornell University)|2020. 04. 28.

Medical Imaging and Analysis참고 문헌 71인용 수 5

한 줄 요약

이 논문은 시각적 인식을 위한 딥 뉴럴 네트워크와 척추 MRI 보고서 생성을 위한 상징적 논리적 추론을 통합하는 신경-기호 학습(NSL) 프레임워크를 제안한다. 비정규화된 원인 분석을 위한 메타-의미적 학습과 함께, 악성 그래프 네트워크를 통합함으로써 NSL는 복잡한 척추 구조 탐지 및 보고서 생성에서 최신 기술 수준의 성능을 달성하여 기존 방법보다 정확도와 강인성 면에서 뛰어나다.

ABSTRACT

Automated medical report generation in spine radiology, i.e., given spinal medical images and directly create radiologist-level diagnosis reports to support clinical decision making, is a novel yet fundamental study in the domain of artificial intelligence in healthcare. However, it is incredibly challenging because it is an extremely complicated task that involves visual perception and high-level reasoning processes. In this paper, we propose the neural-symbolic learning (NSL) framework that performs human-like learning by unifying deep neural learning and symbolic logical reasoning for the spinal medical report generation. Generally speaking, the NSL framework firstly employs deep neural learning to imitate human visual perception for detecting abnormalities of target spinal structures. Concretely, we design an adversarial graph network that interpolates a symbolic graph reasoning module into a generative adversarial network through embedding prior domain knowledge, achieving semantic segmentation of spinal structures with high complexity and variability. NSL secondly conducts human-like symbolic logical reasoning that realizes unsupervised causal effect analysis of detected entities of abnormalities through meta-interpretive learning. NSL finally fills these discoveries of target diseases into a unified template, successfully achieving a comprehensive medical report generation. When it employed in a real-world clinical dataset, a series of empirical studies demonstrate its capacity on spinal medical report generation as well as show that our algorithm remarkably exceeds existing methods in the detection of spinal structures. These indicate its potential as a clinical tool that contributes to computer-aided diagnosis.

연구 동기 및 목표

• MRI 영상에서 방사선 전문의 수준의 자동 척추 의료 보고서 생성 과제를 해결하기 위해.
• 공간적 상관관계가 모호한 복잡하고 변동성이 큰 척추 구조를 탐지하는 데 어려움을 극복하기 위해.
• 제한된 레이블링 데이터로 인해 비정규화된 원인 효과 분석을 가능하게 하기 위해.
• 시각적 인식과 논리적 추론을 조합하여 종합적이고 임상적으로 해석 가능한 보고서를 생성하기 위해.
• 임상 적용을 위한 확장 가능하고 해석 가능하며 강인한 프레임워크를 개발하기 위해.

제안 방법

• NSL 프레임워크는 시각적 인식과 상징적 그래프 추론 모듈을 통합한 생성적 적대적 네트워크(GAN)를 사용하여 척추 구조의 의미적 분할을 향상시킨다.
• 악성 그래프 네트워크는 상징적 추론을 통해 도메인 지식을 통합하여 높은 변동성 하에서 추간판, 척추 및 신경근구멍의 탐지를 향상시킨다.
• 메타-의미적 학습은 검출된 이상소견 간의 논리적 관계를 모델링함으로써 비정규화된 원인 효과 분석을 가능하게 한다.
• 상징적 추론은 이웃한 척추 구조 간 잠재적 공간 상관관계를 동적으로 포착하여 분할 일관성을 향상시킨다.
• 통합 템플릿은 상징적 추론에서 도출된 질병 소견을 채워 넣어 완전하고 자연어 기반의 진단 보고서를 생성한다.
• 프레임워크는 강인하고 해석 가능한 지식 표현 및 레이블링을 위해 일阶 논리 프로그래밍을 사용한다.

실험 결과

연구 질문

• RQ1 통합된 신경-기호 프레임워크는 복잡한 MRI 스캔에서 척추 구조 분할의 정확도와 강인성을 향상시킬 수 있는가?
• RQ2 강한 감독 없이도 상징적 논리적 추론이 척추 이상소견 간 공간적 및 원인적 관계를 얼마나 효과적으로 모델링할 수 있는가?
• RQ3 신경적 인식과 상징적 추론을 조합함으로써 자동 의료 보고서 생성의 해석 가능성과 임상적 유용성이 얼마나 향상되는가?
• RQ4 이 프레임워크는 다양한 해부학적 복잡성과 병변을 가진 MRI 스캔에 일반화될 수 있는가?
• RQ5 악성 학습과 상징적 추론을 통합한 프레임워크가 분할 및 보고서 생성에서 순수 신경망 또는 상징적 기반 베이스라인을 초월하는가?

주요 결과

• NSL 프레임워크는 척추 구조 분할에서 96.1% ± 0.3의 픽셀 정확도와 86.9% ± 2.3의 Dice 계수를 달성하여 분할 모델의 아블레이션 버전을 능가했다.
• 상징적 그래프 추론 모듈은 기본 생성 네트워크 대비 픽셀 정확도 0.3% 향상 및 Dice 계수 2.5% 향상으로 분할 성능을 향상시켰다.
• 악성 학습은 기본 오토에코더 대비 픽셀 정확도 0.2% 향상 및 Dice 계수 2.2% 향상으로 분할 성능을 향상시켰다.
• 정확한 분할과 함께 통합된 상징적 추론 모델은 비정규화된 레이블링 정확도 100%를 달성하여 강인성과 해석 가능성을 입증했다.
• 모든 구성 요소가 포함된 전체 NSL 프레임워크는 분할 및 방사선학적 분류 모두에서 아블레이션된 버전을 뚜렷이 능가하여 모든 요소의 필요성을 입증했다.
• 이 프레임워크는 높은 해부학적 복잡성과 함께 도전적인 MRI 스캔에서도 강력한 일반화 능력을 보였으며, 특수 케이스에서도 성능 저하가 최소한이었다.