[논문 리뷰] Cell R-CNN V3: A Novel Panoptic Paradigm for Instance Segmentation in Biomedical Images.

Dongnan Liu, Donghao Zhang외 3명|arXiv (Cornell University)|2020. 02. 15.

AI in cancer detection참고 문헌 32인용 수 11

한 줄 요약

이 논문은 생물의학 영상에서 인스턴스 세분화를 위한 새로운 팔리오픽 프레임워크인 Cell R-CNN V3을 제안하며, 잔차 주의 분할 융합과 일致성 정규화를 통해 의미적 및 인스턴스 특징을 통합함으로써 정보 손실을 줄이고 마스크 품질 예측을 향상시켜 다양한 생물의학 데이터셋에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Instance segmentation is an important task for biomedical image analysis. Due to the complicated background components, the high variability of object appearances, numerous overlapping objects, and ambiguous object boundaries, this task still remains challenging. Recently, deep learning based methods have been widely employed to solve these problems and can be categorized into proposal-free and proposal-based methods. However, both proposal-free and proposal-based methods suffer from information loss, as they focus on either global-level semantic or local-level instance features. To tackle this issue, we present a panoptic architecture that unifies the semantic and instance features in this work. Specifically, our proposed method contains a residual attention feature fusion mechanism to incorporate the instance prediction with the semantic features, in order to facilitate the semantic contextual information learning in the instance branch. Then, a mask quality branch is designed to align the confidence score of each object with the quality of the mask prediction. Furthermore, a consistency regularization mechanism is designed between the semantic segmentation tasks in the semantic and instance branches, for the robust learning of both tasks. Extensive experiments demonstrate the effectiveness of our proposed method, which outperforms several state-of-the-art methods on various biomedical datasets.

연구 동기 및 목표

• 생물의학 영상에서 국소적 인스턴스 특징이나 전역적 의미적 특징에만 집중함으로써 발생하는 정보 손실 문제를 해결하기 위해.
• 전용 품질 브랜치를 통해 신뢰도 점수를 실제 마스크 품질과 일치시킴으로써 마스크 품질 예측을 향상시키기 위해.
• 두 브랜치 간의 일致성 정규화를 통해 의미적 및 인스턴스 세분화 작업의 강인성을 향상시키기 위해.
• 복잡한 생물의학 영상 데이터에서 성능 향상을 위해 의미적 및 인스턴스 특징 학습을 하나의 팔리오픽 아키텍처에서 통합하기 위해.

제안 방법

• 의미적 특징을 인스턴스 브랜치에 통합하여 맥락 이해를 풍부화하는 잔차 주의 특징 융합 메커니즘을 도입한다.
• 예측된 각 마스크에 대해 품질 점수를 회귀하는 마스크 품질 브랜치를 활용하여 신뢰도를 실제 세분화 정확도와 일치시킨다.
• 의미적 세분화 헤드 간의 일치성 정규화 메커니즘을 적용하여 의미적 및 인스턴스 세분화 작업의 공동 학습을 안정적이고 정확하게 개선한다.
• 인스턴스 세분화 및 의미적 세분화 작업을 동시에 최적화하는 통합된 팔리오픽 아키텍처를 설계한다.
• 스케일 간 특징 표현을 향상시키기 위해 주의 기반 융합을 갖춘 특징 피라미드 네트워크를 활용한다.

실험 결과

연구 질문

• RQ1 의미적 및 인스턴스 특징을 통합함으로써 생물의학 영상 인스턴스 세분화에서 정보 손실을 줄일 수 있는 통합된 팔리오픽 아키텍처는 성능 향상에 기여하는가?
• RQ2 마스크 품질 브랜치를 도입함으로써 인스턴스 세분화 예측의 신뢰성은 어떻게 향상되는가?
• RQ3 의미적 및 인스턴스 브랜치 간의 일치성 정규화가 모델의 강인성과 성능 향상에 얼마나 기여하는가?
• RQ4 제안된 방법은 다양한 생물의학 영상 데이터셋에서 기존 최신 기술 수준의 접근 방식을 초월하는가?

주요 결과

• 제안된 Cell R-CNN V3는 다양한 생물의학 데이터셋에서 몇 가지 최신 기술 수준의 방법보다 뛰어난 성능을 달성한다.
• 잔차 주의 특징 융합 메커니즘은 전역적 의미적 특징과 국소적 인스턴스 신호를 효과적으로 조합함으로써 특징 표현을 향상시킨다.
• 마스크 품질 브랜치는 신뢰도 점수를 실제 마스크 IoU 값과 일치시킴으로써 예측의 신뢰성을 향상시킨다.
• 일치성 정규화 메커니즘은 의미적 및 인스턴스 세분화 작업의 더 안정적이고 정확한 공동 학습을 이끈다.