[논문 리뷰] Cell Tracking via Proposal Generation and Selection

Saad Ullah Akram, Juho Kannala외 2명|arXiv (Cornell University)|2017. 05. 09.

Cell Image Analysis Techniques참고 문헌 36인용 수 24

한 줄 요약

이 논문은 검출과 추적을 동시에 수행하기 위해 그래픽 모델을 활용해 세포 후보 및 간선 후보를 선택하는 딥러닝 기반의 세포 추적 방법을 제안한다. 수동 튜닝 없이 다양한 형광 및 단면 조명 현미경 영상 시퀀스에서 최신 기술 수준의 성능을 달성하며, ISBI 챌린지 데이터셋에서 기존 방법들을 능가한다.

ABSTRACT

Microscopy imaging plays a vital role in understanding many biological processes in development and disease. The recent advances in automation of microscopes and development of methods and markers for live cell imaging has led to rapid growth in the amount of image data being captured. To efficiently and reliably extract useful insights from these captured sequences, automated cell tracking is essential. This is a challenging problem due to large variation in the appearance and shapes of cells depending on many factors including imaging methodology, biological characteristics of cells, cell matrix composition, labeling methodology, etc. Often cell tracking methods require a sequence-specific segmentation method and manual tuning of many tracking parameters, which limits their applicability to sequences other than those they are designed for. In this paper, we propose 1) a deep learning based cell proposal method, which proposes candidates for cells along with their scores, and 2) a cell tracking method, which links proposals in adjacent frames in a graphical model using edges representing different cellular events and poses joint cell detection and tracking as the selection of a subset of cell and edge proposals. Our method is completely automated and given enough training data can be applied to a wide variety of microscopy sequences. We evaluate our method on multiple fluorescence and phase contrast microscopy sequences containing cells of various shapes and appearances from ISBI cell tracking challenge, and show that our method outperforms existing cell tracking methods. Code is available at: https://github.com/SaadUllahAkram/CellTracker

연구 동기 및 목표

• 다양한 현미경 모odal리티와 생물학적 샘플 간 세포의 외형과 형태에 큰 변동성이 존재하는 문제를 해결하기 위해.
• 수동 파rameter 튜닝을 피하고 다양한 영상 시퀀스에 적용 가능한 완전 자동화된 세포 추적 방법을 개발하기 위해.
• 그래픽 모델 프레임워크 내에서 후보 선택을 통해 검출과 추적을 공동으로 모델링하여 추적 정확도를 향상시키기 위해.
• 시퀀스별로 특화된 세그멘테이션 및 추적 파rameter에 대한 의존도를 줄여 데이터셋 간 일반화 능력을 향상시키기 위해.

제안 방법

• 의심스러운 영역에 대해 다수의 가설을 표현할 수 있도록 관련 신뢰도 점수를 함께 생성하는 딥러닝 기반 네트워크를 사용하여 세포 후보를 생성한다.
• 노드가 세포 후보이고, 인접 프레임 간 세포 이벤트(예: 분열, 이동, 사멸)를 나타내는 간선이 포함된 추적 그래프를 구성한다.
• 정수선형계획법(ILP)을 적용하여 일관되고 시간적으로 일관된 세포 트랙을 형성하는 최적의 세포 및 간선 후보 하위집합을 선택한다.
• 세포 분열 이벤트를 처리하기 위해 특수한 구성요소로 분열 감지기를 통합하지만, 일반화 능력 향상 측면에서 한계로 지적된다.
• 운동 모델 향상을 위해 광학 흐름 또는 상관 매칭을 잠재적 확장으로 고려하지만, 핵심 방법에 통합되지는 않는다.
• 완전 연결층을 사용하는 마스크 예측 헤드를 활용하지만, 이는 해상도를 제한하고 큰 세포에 대해 굵은 마스크를 생성하는 원인이 된다.

실험 결과

연구 질문

• RQ1 후보 기반의 공동 검출 및 추적 프레임워크가 수동 튜닝 없이 다양한 현미경 영상 시퀀스에서 기존 방법들을 능가할 수 있는가?
• RQ2 낮은 대비, 높은 밀도 또는 변형된 형태를 가진 영역에서 후보 생성 기법이 얼마나 효과적으로 작용하는가?
• RQ3 간선 후보를 포함한 그래픽 모델을 사용할 경우 추적의 강건성과 정확도가 얼마나 향상되는가?
• RQ4 이 방법은 형광 현미경 및 단면 조명 현미경을 포함한 다양한 세포 유형과 이미징 모달리티 간에 얼마나 잘 일반화되는가?

주요 결과

• 제안된 방법은 형광 및 단면 조명 현미경 데이터셋을 포함한 여러 ISBI 세포 추적 챌린지 시퀀스에서 최신 기술 수준의 성능을 달성한다.
• 특히 작은 세포, 길쭉한 세포 또는 낮은 염색 강도를 가진 세포를 포함한 도전적인 시퀀스에서 F1 점수, 정밀도 및 재현율 측면에서 기존 방법들을 능가한다.
• 낮은 수의 세포 후보로도 높은 재현율을 확보하여 추적 그래프 내 이동 및 분열 간선의 수를 크게 줄였고, 약 175,000개의 세포를 포함한 시퀀스에서 몇 분 내로 빠른 최적화를 가능하게 하였다.
• 후보 네트워크는 매우 정확한 점수를 생성하여, 의심스러운 영역에서도 고품질 후보를 효과적으로 선별할 수 있었다.
• 과소세분화 오류는 여전히 주요 장애물로 남아 있으며, 특히 작은 세포나 길쭉한 세포의 경우 후보 생성 향상의 필요성을 시사한다.
• 현재 마스크 예측은 완전 연결층으로 인해 해상도가 떨어지며, 특징 융합을 통한 해상도 향상으로 성능 향상을 도모할 수 있다.