[논문 리뷰] Object-Guided Instance Segmentation for Biological Images

Jingru Yi, Hui Tang외 6명|arXiv (Cornell University)|2019. 11. 20.

Cell Image Analysis Techniques참고 문헌 22인용 수 5

한 줄 요약

이 논문은 생물학적 영상에 대한 객체 지향형 인스턴스 세분화 방법을 제안하며, 중심점 검출을 통해 조임새 있는 바운딩 박스를 생성하고, 세분화 브랜치에서 인스턴스 정규화를 통해 이웃 객체 분포를 억제하기 위해 객체 특징을 재사용함으로써, 세균, 부착된, 작은 생물학적 객체를 분리하는 데 최고 성능을 달성하면서도 미세한 형태학적 세부 정보를 유지함. 이는 세 가지 벤치마크 데이터셋에서 성과를 보임.

ABSTRACT

Instance segmentation of biological images is essential for studying object behaviors and properties. The challenges, such as clustering, occlusion, and adhesion problems of the objects, make instance segmentation a non-trivial task. Current box-free instance segmentation methods typically rely on local pixel-level information. Due to a lack of global object view, these methods are prone to over- or under-segmentation. On the contrary, the box-based instance segmentation methods incorporate object detection into the segmentation, performing better in identifying the individual instances. In this paper, we propose a new box-based instance segmentation method. Mainly, we locate the object bounding boxes from their center points. The object features are subsequently reused in the segmentation branch as a guide to separate the clustered instances within an RoI patch. Along with the instance normalization, the model is able to recover the target object distribution and suppress the distribution of neighboring attached objects. Consequently, the proposed model performs excellently in segmenting the clustered objects while retaining the target object details. The proposed method achieves state-of-the-art performances on three biological datasets: cell nuclei, plant phenotyping dataset, and neural cells.

연구 동기 및 목표

• 현미경 영상에서 군집화되거나 부착된 작은 생물학적 객체를 세분화하는 데 도전하는 것.
• 박스 없는 방법에서의 과도한 및 부족한 세분화 문제를 극복하기 위해 전역 객체 맥락을 통합하는 것.
• 복잡한 생물학적 환경에서의 인스턴스 세분화 정확도와 세부 정보 유지 능력을 향상시키는 것.
• 중심점 기반 국소화를 통해 소형 객체의 효율적이고 정확한 검출을 가능하게 하는 것.
• 인스턴스 정규화를 사용하여 이웃 객체 특징을 억제하면서도 대상 인스턴스 형태학적 구조를 유지하는 것.

제안 방법

• 이 방법은 키포인트 기반 검출기를 사용하여 객체 중심을 검출함으로써 앵커 박스 없이 조임새 있는 바운딩 박스를 생성함.
• 검출 브랜치에서 유도된 객체 특징이 세분화 브랜치로 전달되어 인스턴스 분리에 공간적 가이던스로 기능함.
• 세분화 브랜치에 인스턴스 정규화를 적용하여 이웃 객체의 통계적 분포를 억제하고 대상 인스턴스를 강조함.
• 예측된 바운딩 박스 기반으로 RoI 어ライ먼트를 사용하여 관심 영역 패치를 잘라내어 정밀한 세분화를 수행함.
• 이 프레임워크는 ResNet50 인코더와 두 개의 병렬 브랜치를 통합함: 하나는 객체 검출(중심 히트맵, 박스 회귀, 오프셋 예측)을 위한 것이고, 다른 하나는 객체 지향 세분화를 위한 것임.
• 세분화 브랜치는 객체 특징과 인스턴스 정규화를 활용하여 미세한 세부 정보를 복구하고 부착된 객체에서 유래한 노이즈를 억제함.

실험 결과

연구 질문

• RQ1 중심점 기반 검출이 인스턴스 세분화에서 소형 및 군집화된 생물학적 객체의 국소화에 어떻게 기여하는가?
• RQ2 겹치거나 부착된 객체에서 객체 특징이 인스턴스 분리에 얼마나 효과적으로 기여하는가?
• RQ3 인스턴스 정규화가 이웃 객체 분포를 억제하면서도 대상 인스턴스 세부 정보를 유지하는 데 얼마나 효과적인가?
• RQ4 제안된 방법이 생물학적 영상 데이터셋에서 최고 성능 기반 및 박스 기반 방법보다 정확도와 효율성 면에서 뛰어나게 성능을 높일 수 있는가?
• RQ5 객체 특징과 정규화의 통합이 복잡한 생물학적 환경에서 마스크 품질을 얼마나 향상시키는가?

주요 결과

• 제안된 방법은 세 가지 생물학적 데이터셋(세포 핵, 식물 형질 분석, 신경세포)에서 최고 성능을 달성함.
• DSB2018 데이터셋에서, Ours_objBranchIN은 모든 아블레이션 변형 중에서 가장 높은 AP 마스크 및 AIoU 마스크 점수를 기록함. Ours_objBranchIN은 Ours_sepBranchIN 및 Ours_objBranch보다 뛰어남.
• 식물 형질 분석 데이터셋에서는 Ours_objBranchIN이 AIoU 마스크에서 일관된 우수성을 보이며, 유사한 AP 마스크 점수에도 불구하고 더 나은 세분화 품질을 나타냄.
• 신경세포 데이터셋에서는 Ours_objBranchIN이 다른 변형들보다 뚜렷하게 뛰어나, 긴, 얇고 군집화된 세포 돌출부를 처리하는 데서의 강점을 입증함.
• 아블레이션 연구 결과, 인스턴스 정규화는 이웃 특징 억제 및 손상되지 않은 대상 인스턴스 세부 정보 복구에 필수적임을 확인함.
• 이 방법은 특히 가림과 부착 상황에서 군집화된 인스턴스를 효과적으로 분리하면서도 미세한 형태학적 세부 정보를 유지함.