[논문 리뷰] M2MRF: Many-to-Many Reassembly of Features for Tiny Lesion Segmentation in Fundus Images

Qing Liu, Haotian Liu외 2명|arXiv (Cornell University)|2021. 10. 30.

Retinal Imaging and Analysis참고 문헌 45인용 수 7

한 줄 요약

이 논문은 망막 영상에서 미세 병변 분할을 향상시키기 위해 장거리 공간적 의존성을 동시에 여러 특징을 넓은 영역에서 다수의 목표 특징으로 집계함으로써 포착하는 many-to-many 특징 재조립 프레임워크인 M2MRF를 제안한다. DDR 및 IDRiD 벤치마크에서 기존의 CNN 기반 및 최근의 트랜스포머 기반 방법들을 능가하는 성능을 보이며, 특히 작은 군집 병변을 탐지하는 데서 두드러진 성능 향상을 보인다.

ABSTRACT

Feature reassembly is an essential component in modern CNN-based segmentation approaches, which includes feature downsampling and upsampling operators. Existing operators reassemble multiple features from a small predefined region into one for each target location independently. This may result in loss of spatial information, which could vanish activations caused by tiny lesions particularly when they cluster together. In this paper, we propose a many-to-many reassembly of features (M2MRF). It reassembles features in a dimension-reduced feature space and simultaneously aggregates multiple features inside a large predefined region into multiple target features. In this way, long range spatial dependencies are captured to maintain activations on tiny lesions. Experimental results on two lesion segmentation benchmarks, i.e. DDR and IDRiD, show that (1) our M2MRF outperforms existing feature reassembly operators; (2) equipped with our M2MRF, the HRNetv2 is able to achieve significant better performance to CNN-based segmentation methods and competitive even better performance to two recent transformer-based segmentation methods. Our code is made publicly available at https://github.com/CVIU-CSU/M2MRF-Lesion-Segmentation.

연구 동기 및 목표

• 기존의 특징 재조립 연산자가 제한된 공간적 맥락으로 인해 망막 영상에서 미세하고 군집된 병변을 분할하는 데 실패하는 문제를 해결하기 위해.
• 기존의 CNN에서의 many-to-one 특징 다운샘플링 및 업샘플링으로 인해 미세 병변의 활성화가 사라지는 문제를 해결하기 위해.
• 장거리 공간적 의존성을 포착하는 단일 프레임워크로 특징 다운샘플링과 업샘플링을 통합하기 위해.
• 모델 복잡도를 크게 증가시키지 않고 병변 분할 벤치마크 성능을 향상시키기 위해.

제안 방법

• M2MRF는 대규모 사전 정의된 영역에서 여러 특징을 동시에 다수의 목표 특징으로 집계함으로써 차원이 감소된 공간에서 특징을 재조립한다.
• 중요도 가중치 커널을 사용하여 큰 국소 영역 내 특징에 대해 유의미한 점수를 동적으로 할당함으로써 미세한 활성화를 향상시킨다.
• 다운샘플링 및 업샘플링 단계 모두에서 작동하며, 유연성 있는 구성이 가능한 변형(예: 1단계 또는 캐스케이드)을 제공한다.
• 기존의 many-to-one RF 연산자를 many-to-many 재조립 메커니즘으로 대체함으로써 장거리 의존성에 걸친 공간적 맥락을 유지한다.
• 플러그 앤 플레이 방식으로, HRNetV2와 같은 기존 CNN 아키텍처와 호환되며 최소한의 파라미터 오버헤드를 갖는다.
• 엔드 투 엔드로 훈련 가능하며, 특징 재조립이 필요한 모든 분할 파이프라인에 통합 가능하다.

실험 결과

연구 질문

• RQ1 기존의 many-to-one 연산자에 비해 many-to-many 특징 재조립 메커니즘이 망막 영상에서 미세하고 군집된 병변 탐지에 도움이 되는가?
• RQ2 넓은 영역 집계를 통해 장거리 공간적 의존성을 포착하면 다운샘플링 및 업샘플링 과정에서 미세한 작은 병변의 활성화를 유지하는 데 도움이 되는가?
• RQ3 M2MRF는 모델 복잡도를 크게 증가시키지 않고 병변 분할 벤치마크 성능을 향상시킬 수 있는가?
• RQ4 M2MRF는 최신의 CNN 및 트랜스포머 기반 분할 모델에 비해 미세 병변 분할 작업에서 어떻게 성능을 냅니다?

주요 결과

• M2MRF-C(캐스케이드 다운샘플링, 1단계 업샘플링)는 IDRiD에서 최고 성능을 기록하였으며, mIoU는 49.94%, mF는 65.71%, mAUPR는 67.24%였다.
• M2MRF-C는 가장 최근의 트랜스포머 기반 모델인 Swin-base를 mIoU 1.58%포인트, mF 1.67%포인트, mAUPR 2.33%포인트 뛰어넘었다.
• M2MRF를 탑재한 HRNetV2는 원래의 HRNetV2보다 IDRiD에서 AUPR 4% 이상, F-score 5% 이상, IoU 4% 이상 향상되었다.
• 이 방법은 모든 병변 유형에서 일관되게 성능 향상을 보였으며, 특히 미세 동맥류와 작은 출혈 병변에서 두드러졌다.
• 규칙 기반 RF 연산자(예: MaxPool/Bilinear)가 학습 기반 방법보다 성능이 뛰어나, 작은 수신장에서의 학습 한계를 시사한다.
• 정성적 결과에서는 M2MRF 변형이 다른 방법들이 놓친 또는 잘못 식별한 과도한 병변을 정확히 분할하는 것으로 나타났다.