[논문 리뷰] Sketch-based Medical Image Retrieval

Kazuma Kobayashi, Lin Gu외 13명|arXiv (Cornell University)|2023. 03. 07.

Image Retrieval and Classification Techniques인용 수 6

한 줄 요약

이 논문은 임상의가 예시 이미지를 필요로 하지 않고도 정상 및 비정상 성분으로 이미지 특징을 분해함으로써 관련 의료 영상을 검색할 수 있는 스케치 기반 의료 영상 검색(SBMIR) 시스템을 제안한다. 사용자는 정상 해부학을 담은 템플릿 이미지를 선택하고 병변 특징을 스케치하여 쿼리 벡터로 융합하여 데이터베이스에서 유사 케이스를 검색하며, 희귀하거나 고립된 케이스일지라도 높은 정확도를 달성한다.

ABSTRACT

The amount of medical images stored in hospitals is increasing faster than ever; however, utilizing the accumulated medical images has been limited. This is because existing content-based medical image retrieval (CBMIR) systems usually require example images to construct query vectors; nevertheless, example images cannot always be prepared. Besides, there can be images with rare characteristics that make it difficult to find similar example images, which we call isolated samples. Here, we introduce a novel sketch-based medical image retrieval (SBMIR) system that enables users to find images of interest without example images. The key idea lies in feature decomposition of medical images, whereby the entire feature of a medical image can be decomposed into and reconstructed from normal and abnormal features. By extending this idea, our SBMIR system provides an easy-to-use two-step graphical user interface: users first select a template image to specify a normal feature and then draw a semantic sketch of the disease on the template image to represent an abnormal feature. Subsequently, it integrates the two kinds of input to construct a query vector and retrieves reference images with the closest reference vectors. Using two datasets, ten healthcare professionals with various clinical backgrounds participated in the user test for evaluation. As a result, our SBMIR system enabled users to overcome previous challenges, including image retrieval based on fine-grained image characteristics, image retrieval without example images, and image retrieval for isolated samples. Our SBMIR system achieves flexible medical image retrieval on demand, thereby expanding the utility of medical image databases.

연구 동기 및 목표

• 기존의 콘텐츠 기반 의료 영상 검색(CBMIR) 시스템이 쿼리 구성에 예시 이미지를 필요로 하는 한계를 해결한다.
• 유사한 예시가 존재하지 않는 희귀하거나 고립된 특징(예: 희귀한 종양 형태나 위치)을 가진 영상을 검색하는 데 도전하는 문제를 극복한다.
• 진단 지원과 같은 맥락에서 유용한 직관적인 스케치 기반 입력을 통해 임상의가 민첩하고 즉각적인 영상 검색을 수행할 수 있도록 한다.
• 정상 해부학적 특징과 비정상 병리적 특징을 분리하여 정확하고 의미적으로 유의미한 쿼리 구성이 가능하도록 하는 시스템을 개발한다.
• 실제 임상 시나리오(뇌신경종양 및 폐암 포함)에서 다양한 임상 상황을 대상으로 실생활 사용자 테스트를 통해 시스템의 사용성과 효과성을 평가한다.

제안 방법

• 의료 영상의 잠재 표현을 정상 해부학 코드(AC)와 비정상 특징 성분으로 분리하는 특징 분해 프레임워크를 제안한다.
• 정상 AC에 대해 정규 분포 사전을 사용한 변동형 오토인코더(VAE)를 훈련하여 분리된 의미적 구조를 가진 잠재 공간을 보장한다.
• 정상 해부학 구조를 인코딩하기 위해 템플릿 이미지를 사용하며, 이는 쿼리의 기준으로 고정된다.
• 사용자가 템플릿 이미지 위에 병변 특징(예: 종양 형태, 부종)을 스케치하도록 허용하며, 이를 비정상 특징으로 인코딩한다.
• 정상 AC와 스케치 기반 비정상 특징을 융합하여 기준 영상 데이터베이스에서 유사성 검색을 위한 통합 쿼리 벡터를 생성한다.
• 쿼리 벡터와 기준 벡터 간의 L2 거리 기반으로 최근접 이웃 검색을 통해 기준 영상을 검색하며, 관련성은 nDCG 및 KL 발산으로 평가한다.

실험 결과

연구 질문

• RQ1 스케치 기반 의료 영상 검색 시스템이 예시 이미지를 요구하지 않고도 관련 영상을 효과적으로 검색할 수 있는가?
• RQ2 유사한 예시가 없는 세밀하거나 희귀한 병리학적 특징을 가진 영상 검색에서 시스템의 성능은 어떠한가?
• RQ3 정상 및 비정상 성분으로의 특징 분해가 검색 정확도 향상과 사용자 유연성 향상에 얼마나 기여하는가?
• RQ4 임상의들은 기존의 예시 기반 검색과 비교해 스케치 기반 쿼리의 사용성과 임상적 관련성을 어떻게 평가하는가?
• RQ5 희귀하거나 고유한 특징을 가진 고립 샘플(학습 데이터에 존재하지 않는 경우)에 대해서도 시스템이 검색을 지원할 수 있는가?

주요 결과

• SBMIR 시스템은 전통적인 CBMIR 시스템의 핵심 한계를 극복하고 예시 이미지 없이도 관련 의료 영상을 성공적으로 검색하였다.
• 사용자 테스트에서 다양한 임상 배경을 가진 10명의 의료진이 세 가지 테스트 시나리오(표준 케이스, 기술적 묘사 쿼리, 고립된 희귀 케이스)에서 높은 검색 정확도를 달성하였다.
• 시스템은 종양 크기, 위치, 부종 범위와 같은 세밀한 특징을 가진 영상 검색에서 뛰어난 성능을 보였으며, 임상적 묘사로 검증되었다.
• 학습 데이터에 존재하지 않는 희귀하거나 고유한 특징을 가진 고립 샘플에 대해서도 시스템은 높은 검색 관련성을 유지하여 희귀하거나 새로운 형태의 병변에 대한 강건성을 입증하였다.
• 템플릿 선택 + 스케치의 이중 단계 인터페이스는 임상의들로부터 직관적이고 효과적이라고 평가되어 정확하고 민감한 쿼리 구성이 가능했다.
• nDCG 및 KL 발산을 사용한 정량적 평가에서 특징 분해를 통해 생성된 쿼리 벡터가 임상의의 묘술적 의도와 매우 유사한 것을 확인하였다.