[논문 리뷰] A Labeled Ophthalmic Ultrasound Dataset with Medical Report Generation Based on Cross-modal Deep Learning

Jing Wang, Junyan Fan외 3명|arXiv (Cornell University)|2024. 07. 26.

Digital Imaging in MedicineMedicine인용 수 3

한 줄 요약

이 논문은 2,417명의 환자로부터 수집된 4,858건의 익명화된 망막 초음파 영상, 해당 영상에 대응하는 중국어 진단 보고서, 그리고 혈류 파rameter를 포함하는 새로운 대규모 안과 초음파 데이터셋을 소개한다. 이 데이터셋은 자동 의료 보고서 생성을 위한 다중모달 딥러닝 기반 기반의 연구를 가능하게 하며, 특히 흔한 안과 병변에 대해 이미지 영역과 관련 보고서 문장을 잘 정렬하는 CMN 모델에서 뛰어난 성능을 보였다.

ABSTRACT

Ultrasound imaging reveals eye morphology and aids in diagnosing and treating eye diseases. However, interpreting diagnostic reports requires specialized physicians. We present a labeled ophthalmic dataset for the precise analysis and the automated exploration of medical images along with their associated reports. It collects three modal data, including the ultrasound images, blood flow information and examination reports from 2,417 patients at an ophthalmology hospital in Shenyang, China, during the year 2018, in which the patient information is de-identified for privacy protection. To the best of our knowledge, it is the only ophthalmic dataset that contains the three modal information simultaneously. It incrementally consists of 4,858 images with the corresponding free-text reports, which describe 15 typical imaging findings of intraocular diseases and the corresponding anatomical locations. Each image shows three kinds of blood flow indices at three specific arteries, i.e., nine parameter values to describe the spectral characteristics of blood flow distribution. The reports were written by ophthalmologists during the clinical care. The proposed dataset is applied to generate medical report based on the cross-modal deep learning model. The experimental results demonstrate that our dataset is suitable for training supervised models concerning cross-modal medical data.

연구 동기 및 목표

• 실제 임상 환경에서 수집된 영상, 보고서, 혈역학적 파라미터를 포함한 종합적인 다중모달 안과 초음파 데이터셋을 구축하여, 다중모달 안과 초음파 데이터셋의 부족을 보완하고자 한다.
• 시각적 특징과 임상 언어 패턴을 정렬하는 다중모달 의료 보고서 생성 모델의 개발을 지원하고자 한다.
• 초음파 영상 기반 AI 보조 보고서 생성을 통해 안과 전문의의 진단 부담을 줄이고자 한다.
• 특히 비영어권(중국어) 임상 보고서 생성을 위한 강화학습 모델 훈련 및 평가를 위한 기준 데이터셋을 제공하고자 한다.
• AI 기반 보고서 표준화를 통해 의사 간 진단의 일관성과 정확성을 향상시키고, 의사 간 변동성을 최소화하고자 한다.

제안 방법

• 2018년 중국 선양 소재 한 안과 병원에서 수집한 실제 임상 데이터를 바탕으로 데이터셋을 구축하였으며, 개인정보 보호를 위해 환자 정보는 익명화 처리되었다.
• 각 사례에는 B모드, 도플러, 스펙트럼 도플러의 세 가지 초음파 영상 유형, 세 개의 안과 동맥에서 유도된 아홉 가지 혈류 지표, 그리고 안과 전문의가 작성한 자유형 진단 보고서가 포함되어 있다.
• 시각적 특징과 혈역학적 특징을 통합하여 보고서를 생성하기 위해, 관련 이미지 영역에 주의를 기울이는 교차모달 메모리 네트워크(CMN) 모델을 훈련시켰다.
• 모델는 이중 브랜치 아키텍처를 사용한다: 영상 특징 추출을 위한 합성곱 신경망(CNN)과 텍스트 생성을 위한 순환 신경망(RNN)이 각각 별도로 구성되어 있다.
• 주의 메커니즘을 적용하여 이미지 영역과 보고서 문장 간의 정렬을 시각화함으로써 모델 예측의 해석 가능성을 높였다.
• BLEU, ROUGE, CIDEr 등의 지표를 사용하여 평가하였으며, 주의 맵과 보고서 길이 분포의 정성적 분 析도 함께 수행하였다.

실험 결과

연구 질문

• RQ1 영상, 보고서, 혈역학적 파라미터를 포함한 다중모달 안과 초음파 데이터셋이 효과적인 다중모달 의료 보고서 생성을 지원할 수 있는가?
• RQ2 CMN과 같은 교차모달 딥러닝 모델은 이미지 특징을 임상적으로 관련 있는 보고서 기술과 얼마나 잘 정렬할 수 있는가?
• RQ3 혈류 파라미터를 포함시킬 경우, 영상 전용 모델 대비 생성 보고서의 정확성과 임상적 관련성은 향상되는가?
• RQ4 전문의의 해석을 기반으로 하였을 때, 모델의 주의 메커니즘은 실제로 병변 영역에 얼마나 잘 집중하고 있는가?
• RQ5 생성된 보고서의 길이 및 내용 분포는 실제 의사가 작성한 보고서와 비교하여 어떻게 다른가?

주요 결과

• 제안된 데이터셋은 4,858장의 초음파 영상, 4,858건의 중국어 진단 보고서, 2,417명의 환자 기록(9개 혈류 지표 포함)을 포함하여, 동시에 세 가지 모odal을 모두 포함하는 유일한 안과 데이터셋이다.
• CMN 모델은 실제 보고서와 유사한 길이 분포를 보였으며, 특히 약 350건의 참값 보고서가 집중된 50~60단어 범위에서 뛰어난 유사성을 보였다.
• 주의 맵의 시각화 결과, 모델이 유리체 출혈, 유리체 혼탁, 유리체 절제술 후 변화와 같은 병변 영역에 성공적으로 집중하고 있음을 확인하였다.
• 모델는 복잡한 병변인 '유리체 내 출혈의 기계적 축적'이나 '안구 내 이상 에코' 등을 일부 사례에서 정확히 식별하는 강력한 일반화 능력을 보였다.
• 강력한 성능에도 불구하고, 이미지 가장자리의 병변(예: 후방 각막 확장)을 탐지하거나, 외관상 유사한 병변을 구분하는 데는 여전히 도전 과제가 남아 있었다.
• 이 데이터셋은 강화학습 기반 다중모달 모델의 효과적인 훈련을 가능하게 하며, AI 기반 보고서 생성을 통해 임상 업무 부담을 줄일 수 있는 잠재력을 보여주었다.