[논문 리뷰] SFCN-OPI: Detection and Fine-grained Classification of Nuclei Using Sibling FCN with Objectness Prior Interaction

Yanning Zhou, Qi Dou외 3명|arXiv (Cornell University)|2017. 12. 22.

AI in cancer detection참고 문헌 12인용 수 12

한 줄 요약

이 논문은 자식형 완전 컨volution 네트워크를 사용한 동적 객체도우리 상호작용을 통한 세포핵 검출과 미세 분류를 동시에 수행하는 통합 엔드 투 엔드 딥 러닝 프레임워크인 SFCN-OPI를 제안한다. 검출 및 분류 브랜치 간의 이중 방향 지식 전이를 가능하게 하는 객체도우리 사전 지식을 통해 초기 특징을 공유함으로써, 최신 기술 수준의 성능을 달성하여 대장암 조직학적 데이터셋에서 분류의 F1 스코어를 0.742로 향상시키고 이전 방법들보다 유의미한 성능 향상을 이룩한다.

ABSTRACT

Cell nuclei detection and fine-grained classification have been fundamental yet challenging problems in histopathology image analysis. Due to the nuclei tiny size, significant inter-/intra-class variances, as well as the inferior image quality, previous automated methods would easily suffer from limited accuracy and robustness. In the meanwhile, existing approaches usually deal with these two tasks independently, which would neglect the close relatedness of them. In this paper, we present a novel method of sibling fully convolutional network with prior objectness interaction (called SFCN-OPI) to tackle the two tasks simultaneously and interactively using a unified end-to-end framework. Specifically, the sibling FCN branches share features in earlier layers while holding respective higher layers for specific tasks. More importantly, the detection branch outputs the objectness prior which dynamically interacts with the fine-grained classification sibling branch during the training and testing processes. With this mechanism, the fine-grained classification successfully focuses on regions with high confidence of nuclei existence and outputs the conditional probability, which in turn benefits the detection through back propagation. Extensive experiments on colon cancer histology images have validated the effectiveness of our proposed SFCN-OPI and our method has outperformed the state-of-the-art methods by a large margin.

연구 동기 및 목표

• 기존 방법들이 세포핵 검출과 미세 분류를 별개의 과제로 간주하여 그 내재된 상호의존성을 忽시하는 한계를 해결하기 위해.
• 고차원 및 내부 클래스 변동성이 큰 저품질 조직병리학적 영상에서 작고 형태가 다양하게 변하는 세포핵을 보다 정확하고 강건하게 검출하기 위해.
• 검출 및 분류 간 상호 강화를 가능하게 하는 동적 특징 상호작용을 통해 상호 보완적인 엔드 투 엔드 딥 러닝 프레임워크를 개발하기 위해.
• 검출 브랜치로부터의 객체도우리 사전 지식을 활용하여 분류 브랜치를 안내하고 정밀화함으로써 국소화 및 분류 정확도를 향상시키기 위해.
• 실제 대장 기저막암 조직학적 데이터셋에서 객체도우리 사전 지식 상호작용을 통한 공동 학습의 효과를 검증하기 위해.

제안 방법

• 검출 및 분류를 위한 작업별 브랜치를 깊이 있는 레이어에서 가지는 자식형 완전 컨볼루션 네트워크(SFCN) 아키텍처를 사용하며, 초기 레이어에서는 특징 추출을 공유한다.
• 검출 브랜치는 세포핵 존재 가능성에 대한 객체도우리 맵을 출력하며, 이는 분류 브랜치를 안내하는 동적 사전 지식으로 사용된다.
• 객체도우리 사전 지식은 검출 신뢰도에 기반하여 특징 맵을 조정하는 학습 가능한 상호작용 모듈을 통해 분류 브랜치에 통합된다.
• 학습 중에 분류 브랜치는 역전파를 통해 피드백을 제공하며, 검출 및 분류 목표를 통합한 공동 손실 함수를 통해 검출 브랜치를 정밀화한다.
• 프레임워크는 엔드 투 엔드로 학습되어 공유 기울기와 사전 지식 기반 주의 메커니즘을 통해 검출 및 미세 분류 간 상호 최적화를 가능하게 한다.
• 해당 방법은 대장암 조직학적 데이터셋에서 평가되었으며, 아블레이션 연구를 통해 OPI 기반 기여도와 공동 학습의 효과가 확인되었다.

실험 결과

연구 질문

• RQ1 독립적인 모델 학습과 비교하여 세포핵 검출과 미세 분류의 공동 학습이 성능 향상에 기여하는가?
• RQ2 검출 브랜치에서 유도된 동적 객체도우리 사전 지식 상호작용이 미세 분류 정확도를 어떻게 향상시키는가?
• RQ3 밀도가 높거나 형태적으로 비정상적인 세포가 있는 어려운 영역에서 제안된 객체도우리 사전 지식 상호작용 메커니즘이 가짜 양성 결과를 얼마나 줄이는가?
• RQ4 통합된 SFCN-OPI 프레임워크는 대장암 조직학적 영상에서 검출 및 분류 과제에서 최신 기술 수준의 방법들을 초월하는가?
• RQ5 검출 및 분류 브랜치의 엔드 투 엔드 공동 최적화 방식이 순차적 또는 파ipelinined 접근 방식에 비해 강건성과 일반화 능력 측면에서 어떻게 우월한가?

주요 결과

• SFCN-OPI는 미세 분류에서 F1 스코어 0.742를 달성하여 이전 최신 기술 수준의 방법인 SC-CNN(0.692)을 크게 능가했다.
• 특히 밀집하거나 형태적으로 비정상적인 영역에서 어려운 가짜 양성 결과가 감소했으며, 다른 네트워크와의 정성적 비교를 통해 이를 확인했다.
• 객체도우리 사전 지식 상호작용 메커니즘은 분류 브랜치가 고신뢰도 세포핵 영역에 집중하도록 유도하여, 상피세포 및 기타 종류의 세포핵과 같은 도전적인 하위 범주를 더 잘 식별할 수 있도록 했다.
• SFCN-OPI-2는 SR-CNN 및 SC-CNN보다 더 뛰어난 분류 성능을 보였으며, OPI 기반 공동 학습이 별도 학습보다 유리함을 입증했다.
• 아블레이션 연구를 통해 OPI 메커니즘과 엔드 투 엔드 공동 학습이 성능 향상에 크게 기여했으며, 특히 작고 다양성이 큰 세포핵을 다룰 때 유의미한 효과를 보였다.
• 객체도우리 사전 지식 기반 주의 메커니즘 덕분에, 낮은 품질의 조직병리학적 영상(불량한 염색 및 흐린 구조 포함)에서도 뛰어난 강건성을 보였다.