[논문 리뷰] Advanced Deep Networks for 3D Mitochondria Instance Segmentation

Mingxing Li, Chang Chen외 4명|arXiv (Cornell University)|2021. 04. 16.

Metabolomics and Mass Spectrometry Studies인용 수 5

한 줄 요약

이 논문은 이방향성 컨볼루션 블록과 다중 척도 훈련을 사용하여 성능을 향상시키기 위해 전자현미경에서 미토콘드리아 인스턴스 세분화를 위한 두 가지 고도로 발전된 3D U-Net 기반 딥 네트워크인 Res-UNet-R 및 Res-UNet-H를 제안한다. 이 방법은 ISBI 2021 대규모 3D 미토콘드리아 인스턴스 세분화 도전 대회에서 1등을 차지했으며, 쥐와 인간 데이터셋 모두에서 평균 AP-75가 0.840을 기록했으며, 일반화 능력을 향상시키기 위해 노이즈 제거 전처리를 통해 성능을 향상시켰다.

ABSTRACT

Mitochondria instance segmentation from electron microscopy (EM) images has seen notable progress since the introduction of deep learning methods. In this paper, we propose two advanced deep networks, named Res-UNet-R and Res-UNet-H, for 3D mitochondria instance segmentation from Rat and Human samples. Specifically, we design a simple yet effective anisotropic convolution block and deploy a multi-scale training strategy, which together boost the segmentation performance. Moreover, we enhance the generalizability of the trained models on the test set by adding a denoising operation as pre-processing. In the Large-scale 3D Mitochondria Instance Segmentation Challenge at ISBI 2021, our method ranks the 1st place. Code is available at https://github.com/Limingxing00/MitoEM2021-Challenge.

연구 동기 및 목표

• 고해상도 전자현미경 데이터에서 정확한 3D 미토콘드리아 인스턴스 세분화를 해결하기 위해 수작업 주석 처리가 계산적으로 비효율적인 문제를 해결한다.
• 노이즈 수준과 구조적 복잡도가 상당히 다름에도 불구하고 쥐와 인간의 EM 데이터셋에서의 세분화 성능을 향상시킨다.
• 인터폴레이션 네트워크를 사용한 노이즈 제거 전처리 단계를 통해 노이즈가 많은 테스트 데이터에서 모델의 일반화 능력을 향상시킨다.
• 기존 방법보다 우수한 성능을 내는 가벼운 구조이면서도 효과적인 아키텍처를 개발한다.
• 이방향성 컨볼루션과 다중 척도 훈련이 이방향성 3D EM 데이터 처리에 어떻게 효과적인지 검증한다.

제안 방법

• 쥐 샘플 전용인 Res-UNet-R과 인간 샘플 전용인 Res-UNet-H라는 두 가지 특화된 딥 리서지드 네트워크를 제안하며, 이미지 품질의 다양성을 고려해 별도의 디코더 아키텍처를 사용한다.
• 1×3×3 초기 컨볼루션과 두 개의 3×3×3 컨볼루션을 사용하며 스킵 연결을 적용하는 이방향성 컨볼루션 블록(ACB)을 도입하여 EM 데이터의 이방향성 수용 필드를 더 잘 포착한다.
• 다중 척도 훈련(MT) 전략을 적용하여 효과적인 수용 필드를 넓히고 과적합을 줄이며, 특히 복잡한 인간 샘플에서 유용하다.
• 희귀한 미토콘드리아에 대한 학습을 향상시키기 위해 전경 비율 기반 가중치를 적용한 가중 이진 크로스엔트로피(WBCE) 손실 함수를 사용한다.
• 인간 EM 데이터의 노이즈가 많은 영역을 복원하기 위해 인터폴레이션 네트워크를 사용한 노이즈 제거 전처리 단계를 적용하여 모델의 테스트 세트에 대한 강건성을 향상시킨다.
• 예측된 세분화 및 경계 맵에서 시드 맵 합성과 연결 성분 라벨링을 통해 후처리를 수행하여 최종 인스턴스 마스크를 생성한다.

Fig. 1 : Network structure of Res-UNet-H. Note the decoder of Res-UNet-R has only one path to generate the semantic mask and the instance boundary simultaneously.

실험 결과

연구 질문

• RQ1 노이즈가 많은 EM 데이터에서 일반적인 U-Net 변종보다 가벼우면서도 작업에 특화된 딥 네트워크 아키텍처가 3D 미토콘드리아 인스턴스 세분화에서 더 우수한 성능을 낼 수 있는가?
• RQ2 이방향성 컨볼루션 블록을 사용하면 EM 영상의 이방향성 해상도를 더 잘 모델링함으로써 세분화 정확도를 향상시킬 수 있는가?
• RQ3 다중 척도 훈련 전략이 3D 미토콘드리아 인스턴스 세분화에서 일반화 능력을 향상시키고 과적합을 줄일 수 있는가?
• RQ4 노이즈 제거 네트워크를 사용한 전처리가 노이즈가 많은 인간 EM 샘플에서 모델 성능을 얼마나 향상시킬 수 있는가?
• RQ5 Res-UNet-R과 Res-UNet-H 간의 아키텍처 차이가 쥐와 인간 데이터셋에서 성능에 어떤 영향을 미치는가?

주요 결과

• 제안된 방법은 ISBI 2021 도전 대회 랭킹에서 75% IoU 기준 평균 평균 정밀도(AP-75)가 0.840으로 가장 높은 성능을 기록하여 모든 경쟁자들을 압도했다.
• 이중 디코더 경로를 가진 Res-UNet-H는 인간 데이터셋에서 AP-75가 0.816을 기록했으며, 직접 적용했을 때 Res-UNet-R의 0.783보다 3.3% 향상되었다.
• 다중 척도 훈련 전략은 Res-UNet-H에서 AP-75를 1.2% 향상시켜 수용 필드 확장을 증명하고 과적합을 줄이는 데 효과적임을 입증했다.
• 이방향성 컨볼루션 블록(ACB)은 3D SE, ECA, Res 블록과 같은 더 복잡한 블록 유닛보다 우수한 성능을 보였으며, 전체 테스트 세트에서 AP-75가 0.913에 도달했고 과적합도 적었다.
• 노이즈 제거 전처리 단계는 일반화 능력을 향상시켜 인간 테스트 세트의 AP-75를 0.828에서 0.829로, 쥐 세트에서는 0.850에서 0.851로 향상시켰다.
• 검증 세트에서의 시각적 결과는 예측 결과가 특히 겹치거나 길쭉한 형태의 미토콘드리아가 많은 복잡한 영역에서 실제값과 매우 잘 일치함을 보여주었다.

Fig. 2 : Visualized results on the MitoEM validation set.