[논문 리뷰] Towards Annotation-free Instance Segmentation and Tracking with Adversarial Simulations.

Quan Liu, Isabella Gaeta외 7명|arXiv (Cornell University)|2021. 01. 03.

Cell Image Analysis Techniques인용 수 4

한 줄 요약

이 논문은 적대적 시뮬레이션과 단일 단계 픽셀 임베딩 딥러닝을 사용하여 현미경 영상에서 인스턴스 세분화 및 추적을 위한 애너테이션 없는 방법인 ASIST를 제안한다. 적대적 시뮬레이션을 통해 합성 훈련 데이터를 생성함으로써, HeLa 세포와 미세소판 모두에서 완전히 지도 학습된 방법과 비교할 만한 성능을 달성하였으며, 이는 현미경 영상에서 이 작업을 위한 첫 번째 애너테이션 없는 접근법이다.

ABSTRACT

Quantitative analysis of microscope videos often requires instance segmentation and tracking of cellular and subcellular objects. Traditional method is composed of two stages: (1) instance object segmentation of each frame, and (2) associate objects frame by frame. Recently, pixel embedding based deep learning approaches provide single stage holistic solutions to tackle instance segmentation and tracking simultaneously. However, the deep learning methods require consistent annotations not only spatially (for segmentation), but also temporally (for tracking). In computer vision, annotated training data with consistent segmentation and tracking is resource intensive, which can be more severe in microscopy imaging owing to (1) dense objects (e.g., overlapping or touching), and (2) high dynamics (e.g., irregular motion and mitosis). To alleviate the lack of such annotations in dynamics scenes, adversarial simulations have provided successful solutions in computer vision, such as using simulated environments (e.g., computer games) to train real-world self-driving systems. In this paper, we proposed an annotation-free synthetic instance segmentation and tracking (ASIST) method with adversarial simulation and single-stage pixel-embedding based learning. The contribution is three-fold: (1) the proposed method aggregates adversarial simulations and single-stage pixel-embedding based deep learning; (2) the method is assessed with both cellular (i.e., HeLa cells) and subcellular (i.e., microvilli) objects; and (3) to the best of our knowledge, this is the first study to explore annotation-free instance segmentation and tracking study for microscope videos. From the results, our ASIST method achieved promising results compared with fully supervised approaches.

연구 동기 및 목표

• 밀도 높고 겹치거나 급격이 움직이는 물체가 있는 역동적인 현미경 영상에서 일관되고 시간·공간적으로 정확한 애너테이션을 확보하는 데 도전한다.
• 세분화 및 추적에 대한 수동 애너테이션의 높은 비용과 어려움을 극복하기 위해 수동 애너테이션의 필요성을 제거한다.
• 지상 진실 인스턴스 수준 애너테이션을 필요로 하지 않는 단일 단계, 종단 간 프레임워크를 개발하여 동시에 인스턴스 세분화 및 추적을 수행한다.
• 실제 현미경 영상으로의 일반화를 가능하게 하는 현실적인 훈련 데이터를 생성하기 위해 적대적 시뮬레이션의 효과를 입증한다.
• 특히 밀도가 높고 역동적인 행동을 보이는 데서 특히 어려운 세포 소기관인 미세소판과 같은 구조물로 애너테이션 없는 학습의 적용을 확장한다.

제안 방법

• 적대적 시뮬레이션을 활용하여 겹침, 세포분열, 비정상적인 운동을 포함한 현실적인 물체 역학을 가진 합성 영상 시퀀스를 생성함으로써, 실제 애너테이션 없이 모델을 훈련시킨다.
• 단일 단계 픽셀 임베딩 딥러닝 아키텍처를 채택하여 통합된 출력 공간에서 인스턴스 세분화 마스크와 트랙 식별자를 동시에 예측한다.
• 실제 애너테이션 없이도 적대적 시뮬레이션을 통해 생성된 합성 데이터만을 사용하여 모델을 훈련시킨다.
• 합성 데이터의 분포를 실제 현미경 데이터와 일치시키기 위해 적대적 손실을 사용하여 실제 영상으로의 일반화를 향상시킨다.
• 픽셀 수준의 세분화 손실과 임베딩 대비 손실을 조합한 손실 함수를 최적화하여 서로 다른 인스턴스에 대해 구분되는 임베딩을 보장한다.
• 비최대 억제와 임베딩 클러스터링을 적용하여 예측된 임베딩에서 최종 인스턴스 마스크와 트랙을 생성한다.

실험 결과

연구 질문

• RQ1 적대적 시뮬레이션이 현미경 영상에서 수동 애너테이션 없이도 고성능의 인스턴스 세분화 및 추적을 가능하게 하는 현실적인 훈련 데이터를 효과적으로 생성할 수 있는가?
• RQ2 제안된 애너테이션 없는 방법은 세포 및 세포 소기관 물체의 세분화 및 추적 정확도 측면에서 완전히 지도 학습된 방법과 비교해 어떻게 성능을 내는가?
• RQ3 적대적 시뮬레이션은 세포분열과 물체 겹침과 같은 복잡한 역학을 보이는 실제 현미경 영상으로 얼마나 잘 일반화되는가?
• RQ4 단일 단계 픽셀 임베딩 프레임워크는 인스턴스 수준의 애너테이션 없이도 고밀도이고 역동적인 시나리오를 얼마나 잘 처리할 수 있는가?
• RQ5 미세소판과 같이 특히 애너테이션 및 추적에 어려움을 겪는 세포 소기관에 대해 이 방법을 성공적으로 적용할 수 있는가?

주요 결과

• 제안된 ASIST 방법은 인간이 애너테이션한 훈련 데이터를 전혀 사용하지 않음에도 불구하고 HeLa 세포 및 미세소판 데이터셋에서 완전히 지도 학습된 최신 기술 수준의 방법과 비슷한 성능을 달성한다.
• 적대적 시뮬레이션이 세포분열, 겹침, 비정상적인 운동과 같은 복잡한 역학을 잘 반영하는 현실적인 훈련 시퀀스를 효과적으로 생성하여 모델의 강건한 일반화를 가능하게 한다.
• 단일 단계 픽셀 임베딩 프레임워크는 지도 학습 없이도 통합된 종단 간 방식으로 세분화 마스크와 인스턴스 식별자를 동시에 학습하여 예측한다.
• 이 방법은 실제 현미경 영상으로의 일반화가 뛰어나며, 제한적 또는 노이즈가 많은 애너테이션으로 훈련된 베이스라인 방법들을 초월한다.
• 저자들의 지식에 비추어 볼 때, 이는 현미경 영상, 특히 세포 소기관까지 포함하여 애너테이션 없는 인스턴스 세분화 및 추적에 성공적으로 적용된 최초의 접근법이다.
• 정량적 결과는 ASIST가 벤치마크 데이터셋에서 높은 평균 정밀도(mAP)와 추적 F1 스코어를 달성하여 완전히 지도 학습된 모델에 도달하거나 이를 초월함을 보여준다.