[논문 리뷰] Unsupervised Histopathology Image Synthesis

Le Hou, Ayush Agarwal외 4명|arXiv (Cornell University)|2017. 12. 13.

AI in cancer detection참고 문헌 39인용 수 56

한 줄 요약

이 논문은 핵 분절 마스크를 갖춘 대규모, 현실적이며 작업 관련 histopathology 이미지 데이터를 합성하는 완전 비지도 파이프라인을 제시하여 지도 학습 없이도 우수한 핵 분절을 가능하게 하고, 실시간으로 어려운 예제 생성을 가능하게 한다.

ABSTRACT

Hematoxylin and Eosin stained histopathology image analysis is essential for the diagnosis and study of complicated diseases such as cancer. Existing state-of-the-art approaches demand extensive amount of supervised training data from trained pathologists. In this work we synthesize in an unsupervised manner, large histopathology image datasets, suitable for supervised training tasks. We propose a unified pipeline that: a) generates a set of initial synthetic histopathology images with paired information about the nuclei such as segmentation masks; b) refines the initial synthetic images through a Generative Adversarial Network (GAN) to reference styles; c) trains a task-specific CNN and boosts the performance of the task-specific CNN with on-the-fly generated adversarial examples. Our main contribution is that the synthetic images are not only realistic, but also representative (in reference styles) and relatively challenging for training task-specific CNNs. We test our method for nucleus segmentation using images from four cancer types. When no supervised data exists for a cancer type, our method without supervision cost significantly outperforms supervised methods which perform across-cancer generalization. Even when supervised data exists for all cancer types, our approach without supervision cost performs better than supervised methods.

연구 동기 및 목표

• 현실적이고 스타일 참조 이미지를 핵 분절 마스크와 함께 합성하여 대규모 주석 histopathology 학습 데이터 세트의 비용과 노력을 줄인다.
• 합성 데이터가 대표적이고 도전적인 작업-특정 모델(예: 핵 분절)을 훈련할 수 있도록 한다.
• 실시간으로 어려운 예제 합성을 도입하여 작업-특정 CNN을 지속적으로 개선한다.
• 지도 학습 데이터가 없는 제로샷 상황에서도 다양한 암 유형에 대해 효과를 입증한다.

제안 방법

• 제어된 핵 위치, 크기, 세포밀도 및 핵 다형성을 가진 초기 합성 histopathology 패치를 생성한다.
• 핵 제거를 위한 간단한 비지도 초분할로 배경 패치를 만들고, 실제 Eosin 채널에서 foreground 핵 질감을 시뮬레이션한다.
• 전경 핵 질감을 배경 패치와 결합하여 초기 합성 이미지와 대응하는 분절 마스크를 형성한다.
• 내용은 보존하면서 스타일을 실제 참조 이미지로 이전시키는 GAN 기반 정제기(refiner)로 초기 합성을 정제한다.
• 이미지 정제기와 함께 작업-특정 CNN(예: 분절용 U-net)을 공동으로 학습하고, 더 높은 작업 손실을 최적화하여 실시간으로 어려운 예제를 도입한다.
• 정제기에 대해 세 가지 손실 구성: L_G = alpha L_G^real + beta L_G^reg + gamma L_G^hard, 정규화, 현실감, 어려운 예제 구성 요소(그리고 판별기 D)를 사용하여 스타일 전이와 현실감을 유도한다.

실험 결과

연구 질문

• RQ1 비지도 합성이 핵 분절 작업과 관련된 현실적 이미지를 생성할 수 있는가?
• RQ2 합성 데이터로 학습하는 것이 실제 라벨 데이터가 부족하거나 없는 경우 분절 성능을 향상시키는가?
• RQ3 합성기에 실시간으로 어려운 예제 생성을 결합하는 것이 정적 데이터나 표준 증강보다 하위 작업 성능을 향상시키는가?
• RQ4 이 방법이 다양한 암 유형 및 조직 스타일에 대해 강건한가?
• RQ5 실제 참조-스타일 가이드 및 어려운 예제 합성이 분절 성능에 어떤 기여를 하는가?

주요 결과

• 제안된 방법은 MICCAI15 및 MICCAI17 데이터세트에서 핵 분절 성능이 경쟁력을 보이며, 암 유형에 대한 감독 학습 벼주가 없을 때도 교차-암 감독기준보다 우수한 성능을 보인다.
• 모든 암 유형에 대해 감독 데이터가 제공될 때, 비지도 합성 접근은 비지도 비용 없이 최첨단 감독 방법과 같거나 더 나은 성능을 달성한다.
• 절단은 실제 참조 스타일 이미지를 사용한 경우와 실시간으로 어려운 예제를 생성하는 경우 둘 다 분절 성능 향상에 기여하며(상대적 증가 6%-9%),
• 병리학자의 평가에서 정제된 합성 패치의 상당 부분이 실제로 보였으며 합성 이미지의 현실성을 뒷받침한다.
• 이 접근법은 병리학을 넘어 SVHN 유사 숫자 합성으로도 일반화되어 정제 프레임워크의 광범위한 적용 가능성을 보여준다.