[논문 리뷰] One Model is All You Need: Multi-Task Learning Enables Simultaneous Histology Image Segmentation and Classification

Simon Graham, Quoc Dang Vu외 5명|arXiv (Cornell University)|2022. 02. 28.

AI in cancer detection인용 수 12

한 줄 요약

이 논문은 단일 공유 백본을 사용하여 전체 슬라이드 이미지에서 세포핵, 샘, 루미나 및 조직 영역을 동시에 분할하고 분류하는 다중 작업 딥러닝 모델인 Cerberus를 제안한다. 서로 다른 독립적인 소스에서 수집한 데이터를 활용하고 조직 유형과 해상도를 정렬함으로써, 모든 작업에서 뛰어난 성능을 달성하며 단일 작업 기반 베이스라인을 능가한다. 이는 핵 분류 및 싱게트 링 세포 검출과 같은 후행 작업을 위한 전이 학습을 가능하게 하며, TCGA의 599개 대장 전립선 전체 슬라이드 이미지를 고정밀도로 처리한다.

ABSTRACT

The recent surge in performance for image analysis of digitised pathology slides can largely be attributed to the advances in deep learning. Deep models can be used to initially localise various structures in the tissue and hence facilitate the extraction of interpretable features for biomarker discovery. However, these models are typically trained for a single task and therefore scale poorly as we wish to adapt the model for an increasing number of different tasks. Also, supervised deep learning models are very data hungry and therefore rely on large amounts of training data to perform well. In this paper, we present a multi-task learning approach for segmentation and classification of nuclei, glands, lumina and different tissue regions that leverages data from multiple independent data sources. While ensuring that our tasks are aligned by the same tissue type and resolution, we enable meaningful simultaneous prediction with a single network. As a result of feature sharing, we also show that the learned representation can be used to improve the performance of additional tasks via transfer learning, including nuclear classification and signet ring cell detection. As part of this work, we train our developed Cerberus model on a huge amount of data, consisting of over 600K objects for segmentation and 440K patches for classification. We use our approach to process 599 colorectal whole-slide images from TCGA, where we localise 377 million, 900K and 2.1 million nuclei, glands and lumina, respectively and make the results available to the community for downstream analysis.

연구 동기 및 목표

• 각 조직학적 분석 작업을 위한 별도의 딥러닝 모델을 훈련하는 데서 발생하는 확장성 및 데이터 효율성 문제를 해결하기 위해.
• 전체 슬라이드 이미지에서 세포핵, 샘, 루미나, 조직 영역 등의 다수의 조직학적 구조를 동시에 분할 및 분류하는 통합된 딥러닝 프레임워크를 개발하기 위해.
• 다양한 소스에서 온 데이터를 활용하면서도 조직 유형과 해상도를 일치시켜 모델의 일반화 능력과 성능을 향상시키기 위해.
• 학습된 공유 표현이 전이 학습을 통해 핵 분류 및 싱게트 링 세포 검출과 같은 후행 작업의 성능을 향상시키는 데 효과적으로 활용될 수 있는지 입증하기 위해.
• 설명 가능한 CPath 파이프라인을 위한 커뮤니티 사용을 위해, TCGA의 599개 대장 전체 슬라이드 이미지에 대한 대규모이고 고정밀도의 분할 및 분류 결과를 공개하기 위해.

제안 방법

• 세포핵, 샘, 루미나 및 조직 영역의 분할 및 분류를 위한 공유 인코더와 다수의 작업 전용 헤드를 갖춘 다중 작업 학습 프레임워크를 설계하였다.
• 다양한 독립적 소스에서 온 데이터를 통합하기 위해 새로운 샘플링 전략을 도입하여, 작업 간 조직 유형과 해상도가 일관되도록 하였다.
• 단일 딥 네트워크(Cerberus)를 사용하여 작업 간 공유 특징을 활용함으로써 계산 오버헤드를 줄이고 엔드 투 엔드 훈련을 가능하게 하였다.
• 분할 헤드는 세포핵, 샘, 루미나에 대해 인스턴스 분할을 수행하고, 분류 헤드는 조직 유형과 핵 아형을 예측한다.
• 학습된 특징을 기반으로 후행 작업인 핵 분류 및 싱게트 링 세포 검출에 대해 공유 인코더를 미세 조정함으로써 전이 학습을 적용하였다.
• 모델은 60만 개 이상의 분할 객체와 44만 개의 분류 패치를 기반으로 훈련되었으며, 0.5 μm/픽셀 해상도에서 TCGA 대장 전체 슬라이드 이미지 599장에 대해 추론를 수행하였다.

실험 결과

연구 질문

• RQ1 단일 딥러닝 모델이 세포핵, 샘, 루미나 및 조직 영역의 분할 및 분류 작업을 동시에 경쟁력 있는 성능으로 달성할 수 있는가?
• RQ2 동일한 조직 유형과 해상도로 정렬된 다중 작업 학습이 단일 작업 접근법에 비해 모델 성능과 일반화 능력을 향상시키는가?
• RQ3 다중 작업 모델이 학습한 공유 표현이 핵 분류 및 싱게트 링 세포 검출과 같은 후행 작업의 성능 향상에 효과적으로 전이될 수 있는가?
• RQ4 다양한 독립적 소스에서 온 데이터를 활용할 경우, 일관성 손상이나 도메인 이동을 초래하지 않으면서 모델 성능이 얼마나 향상되는가?
• RQ5 모델의 출력이 설명 가능한 계산 기반 병리학 파이프라인을 위한 생물학적으로 해석 가능한 특징을 추출하는 데 기여할 수 있는가?

주요 결과

• Cerberus 모델은 단일 공유 네트워크를 사용함에도 불구하고 모든 분할 및 분류 작업에서 뛰어난 성능을 달성하며, 단일 작업 기반 베이스라인을 능가했다.
• 모델은 TCGA의 599개 대장 전체 슬라이드 이미지를 처리하여 고정밀도로 3억 7,700만 개의 세포핵, 90만 개의 샘, 210만 개의 루미나를 국소화했다.
• 모델의 파라미터 수(140만)는 MILD-Net(280만)과 HoVer-Net(420만)보다 현저히 낮아 표준 GPU에서 효율적인 추론을 가능하게 하였다.
• NVIDIA GeForce 1080 Ti를 사용하여 단일 TCGA 전체 슬라이드 이미지(28,451 × 56,782 픽셀)의 추론 시간은 배치 크기가 25일 때 단 11.7분이었다.
• 공유 인코더를 활용한 전이 학습은 핵 분류 및 싱게트 링 세포 검출과 같은 후행 작업의 성능 향상에 기여하여 학습된 표현의 유용성을 입증했다.
• 모델은 악성 샘에서 루미나 분할에 어려움을 겪었고, 근육과 간질을 구분하는 데에도 어려움을 겪었는데, 이는 20× 현미경 배율과 작은 패치 크기로 인한 제한된 맥락 때문일 것으로 보이며, 다중 해상도 또는 더 큰 수신장 영역 접근법을 통해 향상 가능성이 있다.