[논문 리뷰] Instance Segmentation and Tracking with Cosine Embeddings and Recurrent Hourglass Networks

Christian Payer, Darko Štern외 3명|arXiv (Cornell University)|2018. 06. 06.

Advanced Neural Network Applications참고 문헌 13인용 수 6

한 줄 요약

이 논문은 비디오에서 인스턴스 세분화 및 추적을 위해 코사인 임bedding 손실을 통합한 순환형 완전 컨volution 신경망을 제안한다. 스택드 아워거글라스 아키텍처에 ConvGRUs를 통합하고, 이웃 인스턴스 간에만 비유사성을 강제하는 새로운 코사인 유사도 기반 손실을 사용하여 훈련함으로써, ISBI 셀트래킹 챌린지에서 최신 기술 수준(SOTA) 성능을 달성하였다. 특히 밀도 높은 세포 레이아웃에서 추적 및 세분화 지표 모두에서 이전 방법들을 능가하였다.

ABSTRACT

Different to semantic segmentation, instance segmentation assigns unique labels to each individual instance of the same class. In this work, we propose a novel recurrent fully convolutional network architecture for tracking such instance segmentations over time. The network architecture incorporates convolutional gated recurrent units (ConvGRU) into a stacked hourglass network to utilize temporal video information. Furthermore, we train the network with a novel embedding loss based on cosine similarities, such that the network predicts unique embeddings for every instance throughout videos. Afterwards, these embeddings are clustered among subsequent video frames to create the final tracked instance segmentations. We evaluate the recurrent hourglass network by segmenting left ventricles in MR videos of the heart, where it outperforms a network that does not incorporate video information. Furthermore, we show applicability of the cosine embedding loss for segmenting leaf instances on still images of plants. Finally, we evaluate the framework for instance segmentation and tracking on six datasets of the ISBI celltracking challenge, where it shows state-of-the-art performance.

연구 동기 및 목표

• 생물의학 영상에서 인스턴스의 일관성이 중요한 세포 추적과 같은 맥락에서, 비디오 프레임 간 개별 인스턴스를 추적하는 문제를 해결하기 위함.
• 시간에 걸쳐 일관되게 유지되며, 프레임 간 강건한 클러스터링을 가능하게 하는 분별성 임베딩을 학습하여 인스턴스 세분화를 향상시키기 위함.
• 기존의 임베딩 기반 방법의 한계를 극복하기 위해, 이웃 인스턴스 간에만 집중하는 새로운 코사인 유사도 기반 손실을 도입함으로써 최적화 및 안정성을 향상시키기 위함.
• ConvGRUs를 사용하여 완전 컨volution 아키텍처에 시간적 모델링을 통합함으로써, 추적을 위한 스파ati오-타임스패셜 임베딩을 엔드 투 엔드로 학습할 수 있도록 하기 위함.
• 의료 영상 MRI 비디오 및 식물의 정적 이미지 등 다양한 데이터셋에 대해 일반화 능력을 입증하기 위함.

제안 방법

• 프레임 간 시간 정보를 전파하기 위해 수축 경로와 확장 경로 사이에 ConvGRUs를 삽입한 스택드 아워거글라스 네트워크를 사용한다.
• 각 픽셀은 d차원의 임베딩 벡터를 할당받으며, 네트워크는 인스턴스 내 유사도를 높이고, 이웃 인스턴스 간에만 비유사성을 강제하는 새로운 코사인 임베딩 손실로 훈련된다.
• 코사인 임베딩 손실은 4색도형 정리에서 유도되었으며, 고인스턴스 상황에서 요구되는 비유사성 수를 감소시켜 최적화 안정성을 향상시킨다.
• 예측된 임베딩을 각 프레임에서 k-means 또는 유사한 방법으로 클러스터링하여 인스턴스 세분화를 달성하며, 시간적 전파를 통해 추적을 유지한다.
• 세분화를 위한 이진 교차 엔트로피 손실과 인스턴스 구별을 위한 코사인 임베딩 손실을 조합하여 엔드 투 엔드로 훈련된다.
• 좌심실 세분화, 식물 잎 세분화, ISBI 셀트래킹 챌린지 등 여러 데이터셋에서 아키텍처가 평가되었다.

실험 결과

연구 질문

• RQ1 학습된 임베딩을 사용하여 순환형 완전 컨volution 신경망이 비디오 프레임 간 인스턴스 세분화를 효과적으로 추적할 수 있는가?
• RQ2 이웃 인스턴스만 고려하는 코사인 기반 임베딩 손실이 기존의 유클리드 거리 기반 손실과 비교해 최적화 안정성과 성능 향상에 기여하는가?
• RQ3 제안된 방법이 도전적인 생물의학 영상 비디오 데이터셋에서 인스턴스 세분화 및 추적에서 최신 기술 수준 성능을 달성할 수 있는가?
• RQ4 스택드 아워거글라스 네트워크 내부에 ConvGRUs를 통합하는 것이 비순환형 또는 다른 구조의 순환 아키텍처와 비교해 성능에 어떤 영향을 미치는가?
• RQ5 매우 작은 또는 서로 매우 가까이 밀도 높게 배치된 인스턴스에 적용했을 때의 방법의 한계는 무엇이며, 이를 어떻게 보완할 수 있는가?

주요 결과

• ISBI 셀트래킹 챌린지에서, 여섯 개 데이터셋 중 네 개에서 추적 지표에서 1위 또는 2위를 기록하였으며, 특히 밀도 높은 Fluo-N2DH-S1 데이터셋에서 가장 높은 성능를 기록하였다.
• 밀도 높은 세포 레이아웃을 가진 DIC-HeLa 데이터셋에서는 추적 및 세분화 지표 모두에서 모든 다른 방법들을 능가하였으며, 추적 F1 스코어는 0.983, 세분화 F1 스코어는 0.975를 기록하였다.
• Fluo-GOWT1 데이터셋에서는 전체적으로 2위를 기록하였으며, 추적 F1 스코어는 0.981, 세분화 F1 스코어는 0.983이었다.
• 식물 잎의 정적 이미지에서 강력한 성능를 보였으며, CVPPP 챌린지에서 선도 방법과 비교해 유사한 결과를 기록하였고, 테스트 세트에서 3중 교차 검증 F1 스코어는 0.828이었다.
• 좌심실 세분화에서 MRI 비디오에 대해, 비순환 기반 모델 대비 순환 아워거글라스 네트워크가 더 높은 성능를 기록하여 시간적 모델링의 유용성을 입증하였다.
• Fluo-HeLa 및 Fluo-SIM+ 데이터셋에서는 다운샘플링으로 인해 세포 크기가 감지 가능한 임계값 이하로 줄어들어 성능이 열 劣화되었으며, 이는 해상도 유지 전략의 필요성을 시사한다.