[논문 리뷰] FreMIM: Fourier Transform Meets Masked Image Modeling for Medical Image Segmentation

Wenxuan Wang, Jing Wang외 5명|arXiv (Cornell University)|2023. 04. 21.

Radiomics and Machine Learning in Medical Imaging인용 수 5

한 줄 요약

FreMIM은 주어진 데이터가 제한된 세 가지 벤치마크 데이터셋에서 종속된 지도 학습 기반 모델 대비 평균 Dice 점수를 최대 +1.15% 향상시키며, 주파수 도메인에서 이미지 마스킹을 활용한 새로운 자기지도 학습 사전 훈련 프레임워크를 제안한다. 이는 원시 픽셀 대신 부족한 주파수 성분을 재구성하는 방식이다. 다단계 감독을 통해 저주파 수치적 의미와 고주파 세부 정보를 동시에 활용함으로써, FreMIM은 최신 기술 수준의 성능을 달성한다.

ABSTRACT

The research community has witnessed the powerful potential of self-supervised Masked Image Modeling (MIM), which enables the models capable of learning visual representation from unlabeled data. In this paper, to incorporate both the crucial global structural information and local details for dense prediction tasks, we alter the perspective to the frequency domain and present a new MIM-based framework named FreMIM for self-supervised pre-training to better accomplish medical image segmentation tasks. Based on the observations that the detailed structural information mainly lies in the high-frequency components and the high-level semantics are abundant in the low-frequency counterparts, we further incorporate multi-stage supervision to guide the representation learning during the pre-training phase. Extensive experiments on three benchmark datasets show the superior advantage of our FreMIM over previous state-of-the-art MIM methods. Compared with various baselines trained from scratch, our FreMIM could consistently bring considerable improvements to model performance. The code will be publicly available at https://github.com/Rubics-Xuan/FreMIM.

연구 동기 및 목표

• 의료 영상에서 전역적 맥락과 국소적 세부 정보를 동시에 포착하지 못하는 기존 마스킹 이미지 모델링(MIM) 방법의 한계를 해결하기 위해.
• 주파수 도메인 사전 지식을 활용해 데이터가 부족한 조건에서 의료 영상 분할을 위한 표현 학습을 향상시키기 위해.
• 다양한 주파수 대역에서의 특징 학습을 이끄는 다단계 감독 전략을 개발하기 위해.
• 자기지도 사전 훈련을 위한 의료 영상 분야에서 주파수 도메인 재구성 방식이 픽셀 공간 재구성 방식보다 우월한지 확인하기 위해.
• 데이터 효율적인 환경에서 배경 제외 마스킹과 최적의 초모수 설정의 효과를 검증하기 위해.

제안 방법

• 프레임워크는 공간 도메인에서 무작위로 선택된 배경 외 영역 픽셀을 마스킹하고, 원시 픽셀 대신 해당하는 푸리에 스펙트럼을 재구성한다.
• 푸리에 스펙트럼에 저통과 및 고통과 필터를 적용하여 저주파(전역적 맥락) 및 고주파(국소적 세부 정보) 성분을 추출하고, 이를 다단계 감독에 활용한다.
• 양면 집계 디코더는 저주파 및 고주파 성분에 대해 별도의 헤드를 사용하여 전체 푸리에 스펙트럼을 재구성한다.
• 모델은 주파수 도메인에서 마스킹 재구성 손실을 사용하여 사전 훈련되며, 동적 손실 가중치와 주파수 대역 임계값 설정이 적용된다.
• 사전 훈련된 인코더는 표준 교차 엔트로피 손실과 Dice 손실을 사용하여 다운스트림 분할 작업에서 미세조정된다.
• 정적 마스킹 비율 0.25가 최적으로 선정되었으며, 손실 가중치 및 주파수 통과 대역 설정의 선택을 확인하기 위한 추론 연구가 수행되었다.

실험 결과

연구 질문

• RQ1 원시 픽셀 대신 푸리에 스펙트럼을 재구성하는 것이 의료 영상 분할을 위한 표현 학습에 향상된 성능을 이끌 수 있는가?
• RQ2 저주파 및 고주파 성분에 대해 다단계 감독을 적용할 경우 단일 단계 재구성 대비 모델 성능 향상이 이루어지는가?
• RQ3 배경 제외 마스킹은 랜덤 패치 마스킹 대비 표현 품질과 데이터 효율성 측면에서 어떻게 비교되는가?
• RQ4 주파수 도메인에서 사전 훈련을 위한 최적의 마스킹 비율과 주파수 대역 임계값은 무엇인가?
• RQ5 FreMIM은 최소한의 레이블 데이터로도 뛰어난 성능을 달성할 수 있으며, 의료 영상 분야에서의 데이터 효율성을 입증할 수 있는가?

주요 결과

• FreMIM은 BraTS2020 데이터셋에서 평균 Dice 점수 84.59%를 기록하여 지도 학습 기반 모델 대비 +1.15% 향상되었다.
• 사전 훈련에 단 한 개의 학습 샘플만 사용할 경우, FreMIM는 평균 Dice 점수를 +0.61% 향상시켜 매우 높은 데이터 효율성을 입증했다.
• 최적의 마스킹 비율은 0.25이며, 이보다 높거나 낮은 비율은 재구성 과제가 너무 쉬우거나 어려워져 성능이 떨어진다.
• 손실 가중치 α = 3 및 주파수 통과 대역 임계값 PB = 10 가 최고의 성능을 내며, 추론 연구를 통해 그 효과가 확인되었다.
• 다단계 감독 전략은 성능 향상에 크게 기여하였으며, BraTS에서 ET 및 TC 구조에서 가장 높은 향상률을 기록했다.
• FreMIM는 모든 세 가지 벤치마크 데이터셋에서 이전 최신 기술 수준의 MIM 방법들을 능가하며, 표현 학습 능력에서의 우월성을 확인했다.