[논문 리뷰] Pretrained Deep 2.5D Models for Efficient Predictive Modeling from Retinal OCT

Taha Emre, Marzieh Oghbaie외 10명|arXiv (Cornell University)|2023. 07. 25.

Retinal Imaging and AnalysisMedicine참고 문헌 20인용 수 3

한 줄 요약

이 논문은 망막 OCT 스캔에서 습성 황반변성(AMD) 진행을 효율적으로 예측하기 위해 2D CNN과 BiLSTM 또는 Transformer 아키텍처를 조합한 사전학습된 2.5D 딥러닝 모델을 제안한다. TINC를 통한 도메인 내 자기지도 학습 사전학습을 활용함으로써, ImageNet 사전학습 및 더 큰 3D 모델보다 뛰어난 성능을 달성하였으며, 특히 CNN+BiLSTM 아키텍처가 두 가지 종단선형 OCT 데이터셋에서 AUROC 및 PRAUC 모두에서 뛰어난 성능을 보였다.

ABSTRACT

In the field of medical imaging, 3D deep learning models play a crucial role in building powerful predictive models of disease progression. However, the size of these models presents significant challenges, both in terms of computational resources and data requirements. Moreover, achieving high-quality pretraining of 3D models proves to be even more challenging. To address these issues, hybrid 2.5D approaches provide an effective solution for utilizing 3D volumetric data efficiently using 2D models. Combining 2D and 3D techniques offers a promising avenue for optimizing performance while minimizing memory requirements. In this paper, we explore 2.5D architectures based on a combination of convolutional neural networks (CNNs), long short-term memory (LSTM), and Transformers. In addition, leveraging the benefits of recent non-contrastive pretraining approaches in 2D, we enhanced the performance and data efficiency of 2.5D techniques even further. We demonstrate the effectiveness of architectures and associated pretraining on a task of predicting progression to wet age-related macular degeneration (AMD) within a six-month period on two large longitudinal OCT datasets.

연구 동기 및 목표

• 망막 OCT 스캔에서 AMD 진행을 예측할 때 발생하는 3D 의료 영상 데이터의 레이블이 부족한 문제를 해결하기 위해.
• 부피적 OCT 분석을 위한 3D 딥러닝 모델에 비해 계산 비용이 낮고 메모리 소비가 적은 대체 기법을 개발하기 위해.
• 특히 CNN+BiLSTM 및 CNN+Transformer와 같은 다양한 2.5D 아키텍처가 예측 성능에 미치는 영향을 평가하기 위해.
• 저자원 환경에서 도메인 내 자기지도 사전학습(TINC)과 ImageNet 사전학습의 효과를 비교하기 위해.
• PINNACLE와 같이 도메인 이동이 발생하는 데이터셋 간의 일반화 성능을 평가하기 위해.

제안 방법

• 3D OCT 볼륨의 각 B-scan 슬라이스에 2D CNN을 적용한 후, BiLSTM 또는 Transformer를 사용해 슬라이스 수준의 특징을 통합하는 2.5D 아키텍처를 사용하였다.
• 2D CNN 가중치 초기화를 위해 도메인 내 OCT 데이터셋에서 비대비 자기지도 사전학습(TINC) 방법을 적용하여 데이터 효율성을 향상시켰다.
• 이중 큰 종단선형 OCT 데이터셋인 HARBOR와 PINNACLE에서 이중 분류(6개월 내 습성 AMD 진행 여부)를 위해 2.5D 모델을 미세조정하였다.
• 도메인 특화 사전학습의 이점을 평가하기 위해 ImageNet 가중치, TINC 가중치, ViViT의 경우 DukeAMD 사전학습을 사용한 초기화 방식을 비교하였다.
• 스ライ스 간 특징 통합을 위해 평균 풀링과 어텐션 메커니즘을 적용하였으며, 어텐션 점수는 모델의 해석 가능성 향상에 기여하였다.
• 주요 평가 지표로 AUROC와 PRAUC를 사용하였으며, 모델 크기, FLOPs, 파라미터 수에 대한 분석도 수행하였다.

Figure 1: Architecture of the two evaluated 2.5D approaches: (top) CNN + BiLSTM with attention, (bottom) CNN + Transformer

실험 결과

연구 질문

• RQ1 TINC를 통한 도메인 내 자기지도 사전학습이 ImageNet 사전학습에 비해 저자원 3D OCT 분류 과제에서 2.5D 모델 성능을 향상시키는가?
• RQ2 2D CNN과 순차 모델(BiLSTM 또는 Transformer)을 조합한 하이브리드 2.5D 아키텍처가 AMD 진행 예측에서 전체 3D 모델을 능가할 수 있는가?
• RQ3 다른 2.5D 아키텍처(CNN+BiLSTM 대비 CNN+Transformer)는 성능, 파라미터 효율성, 데이터 부족 및 도메인 이동 상황에서의 강인성 측면에서 어떻게 비교되는가?
• RQ4 도메인 이동(예: PINNACLE의 스캐너 차이)이 모델 일반화에 어떤 영향을 미치며, 도메인 내 사전학습이 이를 완화할 수 있는가?
• RQ5 2.5D Transformer 모델의 어텐션 메커니즘이 임상 예측 과제에서 성능 향상과 함께 해석 가능성에 기여하는가?

주요 결과

• TINC로 사전학습한 CNN+BiLSTM 모델은 HARBOR 데이터셋에서 AUROC(0.766±0.012)와 PRAUC(0.646±0.019)가 가장 높았으며, ImageNet 및 ViViT 기준선을 모두 초월하였다.
• TINC 사전학습은 모든 아키텍처와 데이터셋에서 ImageNet 사전학습을 초월했으며, 특히 도메인 이동이 발생하는 PINNACLE 데이터셋에서 가장 큰 성능 향상을 보였다.
• 34M(3배)의 파라미터 수를 가진 CNN+BiLSTM 모델은 HARBOR 및 PINNACLE에서 모두 더 큰 CNN+Transformer 모델(108M)과 비교해 우수하거나 유사한 성능을 달성하였다.
• 2.5D 모델은 모든 지표에서 3D I3D 및 ViViT FSA 모델보다 뛰어났으며, 동시에 3D 처리 방식보다 슬라이스 간 관계를 명시적으로 모델링하는 것이 유리함을 입증하였다.
• PINNACLE 데이터셋에서는 HARBOR에 비해 AUROC가 크게 하락했음에도 불구하고 TINC 사전학습이 강력한 성능 유지를 보였으며, 도메인 이동에 대한 강인성을 입증하였다.
• CNN+Transformer 모델의 어텐션 메커니즘은 해석 가능한 어텐션 점수를 제공했지만, 더 단순한 BiLSTM 기반 아키텍처에 비해 성능 향상에 기여하지 못했다.