[논문 리뷰] PatchPerPix for Instance Segmentation

P. B. Hirsch, Lisa Mais외 1명|arXiv (Cornell University)|2020. 01. 21.

Cell Image Analysis Techniques참고 문헌 30인용 수 9

한 줄 요약

PatchPerPix는 각 픽셀에 대해 조밀한 국소적 형태 기술자(형태 패치)를 예측하고, 패치 유사성 그래프 분할 문제를 해결하여 단일 패assing으로 완전한 인스턴스를 조립함으로써, 반복적이지 않은 새로운 인스턴스 세그멘테이션 방법을 제안한다. 이는 ISBI 2012, BBBC010, 2D/3D 현미경 데이터셋을 포함한 여러 생물의학적 벤치마크에서 최신 기술 수준의 성능을 달성하며, 특히 복잡하고 겹치는, 그리고 조밀하게 군집된 개체 형태에서 뛰어난 성능을 발휘한다.

ABSTRACT

We present a novel method for proposal free instance segmentation that can handle sophisticated object shapes which span large parts of an image and form dense object clusters with crossovers. Our method is based on predicting dense local shape descriptors, which we assemble to form instances. All instances are assembled simultaneously in one go. To our knowledge, our method is the first non-iterative method that yields instances that are composed of learnt shape patches. We evaluate our method on a diverse range of data domains, where it defines the new state of the art on four benchmarks, namely the ISBI 2012 EM segmentation benchmark, the BBBC010 C. elegans dataset, and 2d as well as 3d fluorescence microscopy data of cell nuclei. We show furthermore that our method also applies to 3d light microscopy data of Drosophila neurons, which exhibit extreme cases of complex shape clusters

연구 동기 및 목표

• 객체가 복잡하고 넓게 퍼져 있으며 겹치는 경우가 많은 생물의학 영상에서 인스턴스 세그멘테이션 문제를 해결하기 위해.
• 기존의 제안 없음 방법들이 인스턴스 형태를 명시적으로 모델링하지 못하거나 교차 구조에서 어려움을 겪는 한계를 극복하기 위해.
• 학습된 국소적 형태 패치를 단일 추론 패assing으로 조립하여 완전한 인스턴스를 생성하는 방법을 개발하기 위해.
• 전통적인 방법이 실패하는 복잡한 형태를 가진 데이터셋, 예를 들어 뉴런과 세포핵에서 높은 정확도의 세그멘테이션 성능을 향상시키기 위해.

제안 방법

• U-Net 기반의 CNN이 각 픽셀에 대해 국소적 형태 기술자(이진 마스크 또는 인코딩 표현)를 예측하여 해당 인스턴스의 국소적 형태를 나타낸다.
• 각 노드가 예측된 형태 패치에 대응하는 패치 유사성 그래프를 구성하며, 엣지는 겹치는 패치 간의 일치도 합의 기반으로 점수를 매긴다.
• 서명된 그래프 분할 알고리즘을 패치 유사성 그래프에 적용하여 한 번의 패assing으로 모든 인스턴스를 동시에 세그멘테이션함으로써 겹침을 자연스럽게 처리할 수 있다.
• 형태 예측과 인스턴스 조립을 종합적으로 훈련함으로써, 인코더와 디코더를 별도로 훈련하는 것보다 일반화 성능을 향상시킨다.
• 이중 마스크 표현과 압축된 인코딩 표현을 모두 지원하며, 후자의 경우 일부 데이터셋에서 향상된 성능을 보였다.
• 3D 데이터로의 확장성은 가능하지만, 현재 계산 자원의 제약으로 인해 3D에서의 패치 크기를 7×7×7 또는 9×9×9로 제한하고 있다.

실험 결과

연구 질문

• RQ1 반복적이지 않고 패치 기반의 방법이 복잡하고 겹치는 생물의학적 구조에서 기존 최신 기술 수준의 인스턴스 세그멘테이션 모델을 능가할 수 있는가?
• RQ2 반복적 보정 없이 그래프 분할을 통해 학습된 형태 패치를 효과적으로 완전하고 정확한 인스턴스로 조립할 수 있는가?
• RQ3 픽셀 단위로 국소적 형태 기술자를 예측하는 것이 전반적 또는 유사성 기반 방법에 비해 조밀한 군집과 교차 구조에서 성능 향상에 기여하는가?
• RQ4 3D 라이트 마이크로스코피에서 얇고 나무기반의 신경 구조와 같은 극단적인 경우에서 이 방법은 어떻게 성능을 내는가?
• RQ5 형태 표현과 인스턴스 조립의 종합적 훈련이 구성 요소를 별도로 훈련하는 것보다 더 나은 성능을 낼 수 있는가?

주요 결과

• PatchPerPix는 ISBI 2012 전자현미경 세그멘테이션 벤치마크에서 이전 방법들보다 유의미한 격차로 최신 기술 수준의 성능을 달성했다.
• BBBC010 C. elegans 데이터셋에서 PatchPerPix는 2018 Data Science Bowl 점수(S)를 0.584에서 0.693으로 향상시키고, 평균 F1 점수(avS)를 0.895에서 0.919로 상승시켰다.
• 세포핵의 2D 및 3D 형광 현미경 영상에서 PatchPerPix는 최신 기술 수준의 방법들보다 높은 픽셀 정확도를 확보했으며, 각각 S 점수 0.693(dsb2018) 및 0.436(nuclei3d)를 기록했다.
• 이 방법은 강력한 일반화 능력을 보였으며, 얇고 얽히고 설킨 구조와 겹침이 있는 Drosophila 뉴런의 3D 라이트 마이크로스코피 데이터에서도 합리적인 결과를 도출했다.
• 형태 인코딩의 종합적 훈련은 성능 향상에 명확한 기여를 하였으며, 특히 2D 데이터에서는 유의미한 향상이 있었지만, 3D에서는 작은 패치 크기 제약으로 인해 성능 향상이 제한되었다.
• nuclei3d 데이터셋에서 형태 인코딩을 사용한 방법(ppp+dec)은 이진 마스크 버전(ppp)과 비교해 성능 향상이 없었으며, 이는 작은 3D 패치 크기가 인코딩 표현의 이점을 제한하고 있음을 시사한다.