[논문 리뷰] MEDIAR: Harmony of Data-Centric and Model-Centric for Multi-Modality Microscopy

Gihun Lee, Sangmook Kim외 2명|arXiv (Cornell University)|2022. 12. 07.

Cell Image Analysis Techniques인용 수 16

한 줄 요약

MEDIAR는 데이터 중심 및 모델 중심 전략을 융합하여 다중 모odal 마이크로스코피 영상에서 강력한 세포 인스턴스 세분화를 위한 통합 프레임워크를 제안한다. 종합적인 사전 훈련, 모odal 균형 조정, 이중 헤드 모델 아키텍처, 그리고 확률적 테스트 시간 증강 추론 전략을 통해 시간 예산 제약 조건을 고려하면서도 NeurIPS 2022 세포세분화 챌린지 검증 세트에서 F1 스코어 0.9067을 달 đạt한다.

ABSTRACT

Cell segmentation is a fundamental task for computational biology analysis. Identifying the cell instances is often the first step in various downstream biomedical studies. However, many cell segmentation algorithms, including the recently emerging deep learning-based methods, still show limited generality under the multi-modality environment. Weakly Supervised Cell Segmentation in Multi-modality High-Resolution Microscopy Images was hosted at NeurIPS 2022 to tackle this problem. We propose MEDIAR, a holistic pipeline for cell instance segmentation under multi-modality in this challenge. MEDIAR harmonizes data-centric and model-centric approaches as the learning and inference strategies, achieving a 0.9067 F1-score at the validation phase while satisfying the time budget. To facilitate subsequent research, we provide the source code and trained model as open-source: https://github.com/Lee-Gihun/MEDIAR

연구 동기 및 목표

• 다양한 마이크로스코피 모달리티, 즉 이미징 기술, 조직 유형, 염색 방법, 세포 형태의 변형 등으로 인한 일반화 부족 문제를 해결하기 위해.
• 모달리티별 애너테이션에 의존하지 않고도 이질적인 다중 모달 마이크로스코피 데이터셋 전반에서 일관되게 뛰어난 성능을 보이는 단일 일반화 모델을 개발하기 위해.
• 지식 정복을 통한 재생 및 잠재 모달리티 균형 조정과 같은 데이터 중심 전략과 아키텍처 및 추론 분야의 모델 중심 혁신을 통합하여 모델의 강건성과 효율성을 향상시키기 위해.
• 고해상도 영상 추론에 대한 엄격한 시간 예산 제약 조건을 충족하면서도 다양한 이미징 조건에서 높은 성능을 유지하기 위해.
• 향후 생물의학 영상 분석 분야의 연구를 가속화하기 위해 오픈소스 코드와 훈련된 모델을 공개하기 위해.

제안 방법

• MEDIAR는 다양한 데이터셋에서 광범위한 사전 훈련을 수행한 후, 미세조정 단계에서 지식 재생을 적용하여 이전에 본 데이터에 대한 성능 유지 및 치명적 잊음 방지를 위해 사용된다.
• 훈련 중에 잠재 모달리티 분포를 탐지하고 균형 조정함으로써 부족하게 표현된 모달리티를 식별하고 그 샘플을 증폭시켜 일반화 성능을 향상시킨다.
• 모델 아키텍처는 세포 영역 식별을 위한 하나의 헤드와 인스턴스 수준의 구분을 위한 다른 하나의 헤드를 포함하며, 개별 세포의 정밀한 세분화를 가능하게 한다.
• 고해상도 영상 추론을 위해 MEDIAR는 확률적 테스트 시간 증강 전략을 적용하고 앙상블 예측을 통합하여 강건성을 향상시키며 시간 예산 내에서 속도를 유지한다.
• 이 방법은 비라벨 데이터를 사용하지 않으며, 성능 저하로 이어지는 것으로 평가된 세 가지 준지도 학습 기법(일致성 정규화, 재구성 손실, 가짜 레이블링)을 평가하고 기각한다.
• 실제 적용 가능성 확보를 위해 영상 해상도에 비례하는 시간 허용 범위 제약 조건 하에서 프레임워크가 평가된다.

실험 결과

연구 질문

• RQ1 다양한 마이크로스코피 모달리티 영상에서 세포 세분화 모델의 일반화 부족을 초래하는 요인는 무엇인가?
• RQ2 지식 재생 및 모달리티 균형 조정과 같은 데이터 중심 전략이 자원이 제한된 다중 모달 환경에서 모델의 일반화를 어떻게 향상시킬 수 있는가?
• RQ3 이중 헤드 아키텍처를 가진 단일 통합 모델 아키텍처가 교차 모달리티 세포 인스턴스 세분화에서 전용 작업 또는 모달리티별 모델을 얼마나 뛰어나게 성능을 낼 수 있는가?
• RQ4 확률적 테스트 시간 증강과 앙상블 추론은 고해상도 영상 환경에서 엄격한 시간 예산 제약 조건을 준수하면서도 높은 성능을 유지할 수 있는가?
• RQ5 모델의 주요 실패 원인은 무엇이며, 이에 대한 사전 지식 또는 개선된 데이터 코딩이 이를 어떻게 완화시킬 수 있는가?

주요 결과

• MEDIAR는 NeurIPS 2022 세포세분화 챌린지 검증 세트에서 F1 스코어 0.9067을 달성하여 기준 모델을 초월하고 다양한 마이크로스코피 모달리티에서 강력한 일반화 성능을 입증했다.
• 미세조정 단계에서 지식 재생을 적용함으로써 모델의 안정성과 이전에 본 데이터에 대한 성능 유지가 크게 향상되었다.
• 잠재 모달리티 탐지 및 균형 조정을 통해 부족하게 표현된 모달리티에서의 성능 향상이 이루어져 다양한 이미징 유형 간 성능 격차가 감소했다.
• 이중 헤드 모델 아키텍처는 세포 영역 탐지와 인스턴스 수준의 차별화를 효과적으로 분리하여 세분화 정확도를 향상시켰다.
• 확률적 테스트 시간 증강과 앙상블 추론을 통해 100만 픽셀을 초과하는 큰 영상에서도 높은 정확도의 예측을 수행하면서도 시간 예산 내에서 유지되었으며, 이는 고해상도 이미징 환경에서의 실용성을 입증했다.
• 강력한 성능에도 불구하고 MEDIAR는 매우 작은 세포, 흐린 또는 오염된 영역, 비정상적인 형태의 세포에서 어려움을 겪었으며, 향후 개선이 필요한 영역으로 나타났다.