[논문 리뷰] ConCORDe-Net: Cell Count Regularized Convolutional Neural Network for Cell Detection in Multiplex Immunohistochemistry Images

Yeman Brhane Hagos, Priya Narayanan외 3명|arXiv (Cornell University)|2019. 08. 01.

AI in cancer detection참고 문헌 12인용 수 4

한 줄 요약

ConCORDe-Net는 유방암의 다중면 면역형광염색(мIHC) 전체 슬라이드 이미지에서 세포 검출 및 분류를 위한 새로운 합성곱 신경망이다. 세포 수 손실 함수와 Dice 겹침 최적화를 통합하여, 서로 가까이 밀접하게 배열되어 있거나 약하게 염색된 세포의 검출을 향상시켰으며, F1-스코어 0.873과 96.5%의 분류 정확도를 달성하여 최신 기술을 능가한다.

ABSTRACT

In digital pathology, cell detection and classification are often prerequisites to quantify cell abundance and explore tissue spatial heterogeneity. However, these tasks are particularly challenging for multiplex immunohistochemistry (mIHC) images due to high levels of variability in staining, expression intensity, and inherent noise as a result of preprocessing artefacts. We proposed a deep learning method to detect and classify cells in mIHC whole-tumour slide images of breast cancer. Inspired by inception-v3, we developed Cell COunt RegularizeD Convolutional neural Network (ConCORDe-Net) which integrates conventional dice overlap and a new cell count loss function for optimizing cell detection, followed by a multi-stage convolutional neural network for cell classification. In total, 20447 cells, belonging to five cell classes were annotated by experts from 175 patches extracted from 6 whole-tumour mIHC images. These patches were randomly split into training, validation and testing sets. Using ConCORDe-Net, we obtained a cell detection F1 score of 0.873, which is the best score compared to three state of the art methods. In particular, ConCORDe-Net excels at detecting closely located and weakly stained cells compared to other methods. Incorporating cell count loss in the objective function regularizes the network to learn weak gradient boundaries and separate weakly stained cells from background artefacts. Moreover, cell classification accuracy of 96.5% was achieved. These results support that incorporating problem-specific knowledge such as cell count into deep learning-based cell detection architectures improve the robustness of the algorithm.

연구 동기 및 목표

• 디지털 병리학에서 흔한 다중면 면역형광염색(mIHC) 이미지에서 약하게 염색되고 서로 가까이 위치한 세포를 검출하는 데 도전하는 문제를 해결하기 위해.
• 특히 세포 수라는 문제에 특화된 지식을 딥 러닝 목표 함수에 통합하여 mIHC에서의 세포 검출의 강건성을 향상시키기 위해.
• mIHC 전체 슬라이드 이미지에서 동시 세포 검출 및 다중 클래스 분류를 위한 통합 프레임워크를 개발하기 위해.
• 커널 크기 또는 세포 크기와 같은 고정된 초모수에 대한 의존도를 줄여 다양한 세포 형태에 걸쳐 검출이 가능하도록 하기 위해.
• 특히 저표지 강도 또는 겹치는 경계를 가진 세포에서의 미세한 형태학적 및 염색 변화를 향상시키기 위해.

제안 방법

• ConCORDe-Net는 Inception-v3에 영감을 받아, 세포 검출을 위한 특징 추출과 회귀를 결합한 다단계 아키텍처를 사용한다.
• 점 주석에서 유도된 세포 가짜 세분화 지ap을 사용하여 거리 기반 임계값(r = 4 픽셀)을 적용하여 겹치지 않는 세포 영역을 확보한다.
• Dice 겹침과 새로운 세포 수 손실 함수를 조합한 하이브리드 손실 함수를 사용하여, 약하게 염색되고 서로 가까이 있는 세포의 검출을 정규화한다.
• 세포 카운터 모듈은 최대 풀링을 포함한 4개의 합성곱 레이어와 이후 두 개의 밀집 레이어로 구성되어, 패치 내 총 세포 수를 추정한다.
• 확률 지ap을 임계값 처리한 후 형태학적 구멍 메꾸기와 연결 성분 분석을 수행하여 세포 중심을 식별함으로써 세포 검출을 수행한다.
• 두 단계 분류 파이프라인은 pSTAT 및 GAL8 발현 수준에 기반해 다섯 가지 세포 유형을 구분하기 위한 별도의 분류기(classifier1 및 classifier2)를 사용하며, 계층적 출력을 통해 최종 분류를 달성한다.

실험 결과

연구 질문

• RQ1 표준 Dice 기반 손실 함수에 비해 세포 수 정규화 손실 함수를 통합함으로써, mIHC 이미지에서 약하게 염색되고 서로 가까이 있는 세포의 검출이 향상되는가?
• RQ2 문제에 특화된 지식(세포 수)의 통합이, 복잡한 조직병리학 이미지 분석에서 딥 러닝 모델의 강건성과 일반화 능력을 어떻게 향상시키는가?
• RQ3 ConCORDe-Net은 MapDe 및 U-Net과 같은 최신 기술에 비해 mIHC 이미지에서 도전적인 세포 표현형을 검출하는 데 얼마나 뛰어난가?
• RQ4 통합된 검출 및 분류 프레임워크는 다중 표지된 마커에서 미세한 염색 강도 차이를 감지하는 민감성을 유지하면서도 높은 정확도를 달성할 수 있는가?
• RQ5 점 주석에서 유도된 가짜 세분화와 세포 수 손실 함수의 조합이, 완전한 인스턴스 마스크를 사용한 엔드 투 엔드 세분화보다 더 나은 일반화 성능을 이끌어내는가?

주요 결과

• ConCORDe-Net은 테스트 세트에서 F1-스코어 0.873을 달성하여, MapDe(0.838)와 U-Net(0.841)를 능가했으며, 최신 기술보다 높은 재현율과 F1-스코어를 확보했다.
• 특히 서로 가까이 있는 세포와 약하게 염색된 GAL8+ pSTAT- 세포의 검출에서 뛰어난 성능을 보였으며, 이는 MapDe 및 U-Net이 놓친 세포들이다.
• 세포 수 손실 함수의 통합으로 인해, 저기울기 경계와 미세한 염색 강도 차이를 가진 세포의 검출이 크게 향상되었다.
• 두 분류기의 계층적 출력을 통해 세포 분류 정확도는 96.5%에 도달했으며, 모든 세포 유형에서 classifier1의 AUC는 0.99 이상, classifier2의 AUC는 0.97 이상을 기록했다.
• ConCORDe-Net의 정밀도는 다른 모델보다 낮았지만, 전문가와 다른 방법이 놓친 약하게 염색된 세포를 검출함으로써 더 높은 민감도를 보여주었다.
• 세포 카운터 모듈은 네트워크가 서로 가까이 있는 세포를 구분하는 패턴을 학습하고, 노이즈가 많은 mIHC 이미지에서 거짓 음성 수를 줄이는 데 효과적으로 정규화했다.