[논문 리뷰] Learning Multiscale Consistency for Self-supervised Electron Microscopy Instance Segmentation

Yinda Chen, Wei Huang외 4명|arXiv (Cornell University)|2023. 08. 19.

Advanced Electron Microscopy Techniques and ApplicationsBiochemistry, Genetics and Molecular Biology인용 수 3

한 줄 요약

이 논문은 전자현미경 영역 분할을 위한 자기지도 학습 사전학습 프레임워크를 제안하며, 볼륨 수준 재구성, 크로스 어텐션 기반 특징 매칭, 특징 피라미드를 통해 대비 학습을 통해 다중 척도 일관성을 강제한다. 네 개의 대규모 EM 데이터셋에서 강한 및 약한 증강을 적용한 시아미즈 네트워크를 활용함으로써, 특히 제한된 미세조정 데이터에서 최신 기술 수준의 성능을 달성하였으며, 단지 10장의 이미지로 뉴런 분할에서 VOI를 최대 46.8% 향상시켰다.

ABSTRACT

Instance segmentation in electron microscopy (EM) volumes is tough due to complex shapes and sparse annotations. Self-supervised learning helps but still struggles with intricate visual patterns in EM. To address this, we propose a pretraining framework that enhances multiscale consistency in EM volumes. Our approach leverages a Siamese network architecture, integrating both strong and weak data augmentations to effectively extract multiscale features. We uphold voxel-level coherence by reconstructing the original input data from these augmented instances. Furthermore, we incorporate cross-attention mechanisms to facilitate fine-grained feature alignment between these augmentations. Finally, we apply contrastive learning techniques across a feature pyramid, allowing us to distill distinctive representations spanning various scales. After pretraining on four large-scale EM datasets, our framework significantly improves downstream tasks like neuron and mitochondria segmentation, especially with limited finetuning data. It effectively captures voxel and feature consistency, showing promise for learning transferable representations for EM analysis.

연구 동기 및 목표

• 전자현미경 영역 분할에서 애너테이션 자료가 부족한 문제를 해결하기 위해 자기지도 학습 사전학습 프레임워크를 개발한다.
• 다중 척도 특징 학습을 통해 복잡한 형태학적 구조에 대한 강건성을 향상시킨다.
• 데이터 증강에 따른 볼륨 수준 및 특징 수준의 일관성 강제를 통해 표현 품질을 향상시킨다.
• 특히 저자료 환경에서 강력한 최종 성능을 달성하기 위해 최소한의 미세조정 데이터로도 높은 성능을 내도록 한다.
• CNN 및 트랜스포머 백본 모두와 호환되는 일반화 가능한 사전학습 방법을 개발한다.

제안 방법

• 약한 및 강한 증강된 EM 볼륨 입력을 처리하기 위해 시아미즈 네트워크 아키텍처를 사용하며, 공유 가중치를 통해 일관된 특징 학습을 보장한다.
• 원본 볼륨과 증강된 입력에서 재구성된 볼륨 간의 일관성을 강제하기 위해 볼륨 수준 재구성 손실을 적용한다.
• 약한 증강 및 강한 증강에서 추출한 특징 간의 세밀한 특징 매칭을 가능하게 하기 위해 크로스 어텐션 메커니즘을 활용한다.
• 계층적 대비 학습 기반의 방법을 특징 피라미드 전반에 적용하여 척도 불변 표현을 학습한다.
• 일관된 비교를 위해 모든 척도에서 특징 차원을 16×16×16로 표준화하기 위해 적응형 평균 풀링을 적용한다.
• 에코더 특징에 기반한 열악한 해를 방지하기 위해 스킵 연결 없이 백본 네트워크를 학습한다.

Fig. 1 : Our proposed method consists of two stages: pretraining and finetuning. (a) illustrates the framework of pretraining, which aims to add consistency constraints to both weak and strong augmented data. (b) describes the method to extract multiscale features. (c) outlines our instance segmenta

실험 결과

연구 질문

• RQ1 자기지도 학습 사전학습에서 다중 척도 일관성을 강제하면 전자현미경 영역 분할 성능이 향상되는가?
• RQ2 볼륨 수준 재구성, 특징 매칭, 대비 학습을 조합할 경우 전자현미경 볼륨에서 표현 품질에 어떤 영향을 미치는가?
• RQ3 제안된 방법이 최종 분할 작업에서 애너테이션 자료 의존도를 어느 정도 감소시키는가?
• RQ4 전자현미경 영역 분할에서 다양한 백본 아키텍처(CNN 대비 트랜스포머)에서 이 프레임워크는 어떻게 성능을 내는가?
• RQ5 각 구성 요소(재구성, 크로스 어텐션, 대비 학습)가 전체 성능에 기여하는 정도는 어떠한가?

주요 결과

• CREMI 데이터셋에서 단지 10장의 이미지로 미세조정한 경우, 뉴런 분할에서 VOI를 46.8% 향상시켰다.
• 75장의 미세조정 이미지로도 기준 모델 대비 VOI를 8.6% 향상시켜 저자료 일반화 능력이 뛰어나다는 것을 입증했다.
• 미토콘드리아 분할에서 단지 100장의 학습 이미지로도 작은 미토콘드리아에서 VOI를 35.7% 달성하여 PCRLv2를 2.8% 초월했다.
• 제거 실험 결과, 재구성 손실과 크로스 어텐션 손실을 병합한 경우 기준 모델 대비 VOI 향상률이 가장 높아 49.1% 향상되었다.
• 전체 데이터셋의 1/4만으로도 전체 데이터셋 미세조정 성능에 거의 근접하는 성능를 기록하여 데이터 효율성이 뛰어나다는 것을 입증했다.
• ViT 및 ResNet 백본 모두에서 일관된 성능 향상을 보이며, 넓은 아키텍처 호환성을 입증했다.

Fig. 2 : Visual comparisons for neuron segmentation, where colored boxes highlight the significant differences in the segmentation results.