[논문 리뷰] A clinically motivated self-supervised approach for content-based image retrieval of CT liver images

Kristoffer Wickstrøm, Eirik Agnalt Østmo외 4명|arXiv (Cornell University)|2022. 07. 11.

Radiomics and Machine Learning in Medical Imaging인용 수 4

한 줄 요약

이 논문은 간 조직에 집중하기 위해 Hounsfield 단위 클리핑을 통해 도메인 지식을 통합함으로써 성능과 일반화 능력을 향상시키는 임상적으로 동기화된 자기지도 학습 프레임워크를 제안한다. 이는 CT 간 영상에서 콘텐츠 기반 영상 검색(CBIR)을 위한 것이다. 또한 CBIR 분야에서 처음으로 표현 학습 해석 가능성 분석을 도입하여 임상적으로 유의미한 특징 추출과 신뢰성 향상을 드러낸다.

ABSTRACT

Deep learning-based approaches for content-based image retrieval (CBIR) of CT liver images is an active field of research, but suffers from some critical limitations. First, they are heavily reliant on labeled data, which can be challenging and costly to acquire. Second, they lack transparency and explainability, which limits the trustworthiness of deep CBIR systems. We address these limitations by (1) proposing a self-supervised learning framework that incorporates domain-knowledge into the training procedure and (2) providing the first representation learning explainability analysis in the context of CBIR of CT liver images. Results demonstrate improved performance compared to the standard self-supervised approach across several metrics, as well as improved generalisation across datasets. Further, we conduct the first representation learning explainability analysis in the context of CBIR, which reveals new insights into the feature extraction process. Lastly, we perform a case study with cross-examination CBIR that demonstrates the usability of our proposed framework. We believe that our proposed framework could play a vital role in creating trustworthy deep CBIR systems that can successfully take advantage of unlabeled data.

연구 동기 및 목표

• 딥_CBIR_시스템이 훈련을 위해 대량의 레이블이 필요한 비효율적인 한계를 해결한다.
• 자기지도 학습에 도메인 특화 지식을 통합하여 다양한 데이터셋 간 성능 향상과 일반화 능력을 향상시킨다.
• CT 간 영상의 CBIR 맥락에서 처음으로 표현 학습 해석 가능성 분석을 제공하여 투명성과 임상적 신뢰도를 높인다.
• 환자 스캔 간 교차 검토와 같은 실제 임상 시나리오에서 프레임워크의 유용성을 입증한다.
• 비라벨 데이터를 효과적으로 활용하기 위해 간 조직과 같은 임상적으로 관련된解부학적 구조에 집중하는 방법을 설계한다.

제안 방법

• 훈련 중 CT 영상에서 간 조직을 분리하기 위해 Hounsfield 단위(HU) 클리핑을 적용하는 자기지도 학습 프레임워크를 제안하여 비간 조직에서 오는 노이즈를 감소시킨다.
• 간 관련 영역의 증강된 시각을 양의 쌍으로 사용하여 대비 학습을 수행함으로써 기준이 되는 기능 추출기를 훈련시켜 기관 특화된 표현을 학습한다.
• 간 조직의 HU 범위(일般적으로 40–120 HU)에 맞게 데이터 증강 및 클리핑 전략을 설계하여 임상 지식을 통합함으로써 특징의 관련성을 향상시킨다.
• 표현 학습 해석 가능성 분석을 위해 RELAX 프레임워크를 적용하여 어떤 입력 특징이 학습된 표현에 영향을 주는지 해석한다.
• 양의 쌍 간 유사도를 최대화하고 음의 쌍 간 유사도를 최소화하는 대비 손실을 사용하여 모델을 엔드 투 엔드로 훈련시킨다.
• 다양한 데이터셋, 특히 교차 데이터셋 일반화 평가를 통해 정확도와 임상 적용 가능성을 평가한다.

실험 결과

연구 질문

• RQ1 특정 도메인 지식(예: 간 조직의 HU 범위)을 활용하는 자기지도 학습 프레임워크가 표준 자기지도 학습 기반 모델 대비 CT 간 영상의 CBIR 성능을 향상시킬 수 있는가?
• RQ2 제안된 방법은 임상 환경에서 다양한 데이터셋과 스캔 프로토콜 간에 어떻게 일반화되는가?
• RQ3 표현 학습 해석 가능성 기법을 통해 자기지도 학습 기반 CBIR 모델이 임상적으로 의미 있는 특징을 얼마나 잘 드러내는가?
• RQ4 교차 검토 시나리오(예: 시간이 지남에 따라 간 전이성 병변 추적)에서 프레임워크가 진단적으로 관련된 영상을 성공적으로 검색할 수 있는가?
• RQ5 HU 클리핑을 통한 간 특화 영역 집중이 CBIR에서 더 해석 가능하고 신뢰할 수 있는 표현을 만들어내는가?

주요 결과

• 제안된 자기지도 학습 프레임워크는 표준 자기지도 학습 기반 모델 대비 여러 지표에서 향상된 검색 성능을 달성하였으며, 더 높은 mAP 및 리콜률을 기록하였다.
• 외부 데이터셋에서 평가했을 때 모델은 우수한 일반화 능력을 보이며 스캔 프로토콜 및 영상 설정의 변동성에 대비한 강건성을 입증하였다.
• RELAX를 사용한 표현 학습 해석 가능성 분석 결과, 모델이 간 내 임상적으로 관련된 해부학적 및 병리학적 패턴과 일치하는 특징을 학습하고 있음을 확인하였다.
• 교차 검토 사례 연구에서 의사가 선택한 기준 영상과 일치하는 영상을 성공적으로 검색하여 임상적 사용 가능성을 확인하였다.
• 放射선의사의 선택한 영상과 유사한 영상을 검색했지만, 순서가 국소적 맥락을 반영하지 못해 향후 개선을 위한 국소적 맥락 모델링의 잠재력이 있음을 시사하였다.
• HU 기반 클리핑 통합으로 인해 관련 없는 해부학적 구조가 억제되어 더 집중적이고 의미 있는 표현이 향상되었다.