[논문 리뷰] Deep Learning with Permutation-invariant Operator for Multi-instance Histopathology Classification

Jakub M. Tomczak, Maximilian Ilse외 1명|arXiv (Cornell University)|2017. 12. 01.

AI in cancer detection인용 수 7

한 줄 요약

이 논문은 공유 신경망으로부터의 패치 수준 예측을 집합화하기 위해 순열 불변 연산자를 사용하는 딥 러닝 프레임워크를 제안한다. 이 방법은 작은 유방암 데이터셋에서 경쟁적인 성능(AUC: 0.88–0.90)을 달성하였으며, 노이즈드-오라(Nosiy-Or) 연산자가 시험한 연산자 중 가장 우수한 성능을 보였다.

ABSTRACT

The computer-aided analysis of medical scans is a longstanding goal in the medical imaging field. Currently, deep learning has became a dominant methodology for supporting pathologists and radiologist. Deep learning algorithms have been successfully applied to digital pathology and radiology, nevertheless, there are still practical issues that prevent these tools to be widely used in practice. The main obstacles are low number of available cases and large size of images (a.k.a. the small n, large p problem in machine learning), and a very limited access to annotation at a pixel level that can lead to severe overfitting and large computational requirements. We propose to handle these issues by introducing a framework that processes a medical image as a collection of small patches using a single, shared neural network. The final diagnosis is provided by combining scores of individual patches using a permutation-invariant operator (combination). In machine learning community such approach is called a multi-instance learning (MIL).

연구 동기 및 목표

• 약한 지도 학습을 활용하여 디지털 병리학에서의 소규모 데이터셋과 고해상도 의료 영상의 과제를 해결한다.
• 제한된 픽셀 수준의 애너테이션과 큰 영상 크기로 인한 과적합 및 계산 부담을 완화한다.
• 전체 슬라이드 영상을 공유 특징 추출을 갖는 패치의 집합으로 처리하는 엔드 투 엔드 학습 가능한 모델을 개발한다.
• 패치 수준 점수를 집합 수준 진단으로 집계하기 위해 순열 불변 조합 연산자를 도입한다.
• 데이터 증강 및 가역적 연산자인 노이즈드-오라, ISR, LSE를 활용하여 일반화 능력과 진단의 관련성을 향상시킨다.

제안 방법

• 전체 슬라이드 병리 영상을 처리하기 위해 겹치지 않는 96×96 픽셀 패치로 나눈다.
• 패치 수준 점수를 추출하기 위해 공유된 딥 신경망(컨볼루션 및 완전 연결 계층, 드롭아웃 포함)을 적용한다.
• 순열 불변 연산자인 노이즈드-오라, ISR, 로그-합-지수(Log-Sum-Exp)를 사용하여 패치 점수를 집합 수준 확률로 조합한다.
• 집합 수준 레이블의 음의 로그우도를 최소화함으로써 백프로파게이션을 통한 엔드 투 엔드 학습을 수행한다.
• 순열 불변 연산자의 출력에 조건부한 베르누이 분포를 사용하여 집합 레이블의 확률을 모델링한다.
• 과적합을 줄이기 위해 H&E 색상 왜곡, 무작위 회전/반전, 가우시안 블러링 등을 포함한 광범위한 데이터 증강을 적용한다.

실험 결과

연구 질문

• RQ1 패치 수준의 애너테이션이 없이 전체 슬라이드 레이블만을 사용하여 딥 러닝 모델이 병리 영상 분류를 효과적으로 수행할 수 있는가?
• RQ2 다양한 순열 불변 연산자(노이즈드-오라, ISR, LSE)는 약한 지도 학습 기반 병리 영상 분류에서 성능 면에서 어떻게 비교되는가?
• RQ3 가역적 연산자를 사용한 엔드 투 엔드 학습이 소규모 데이터 의료 영상 시나리오에서 전통적 MIL 방법보다 우수한가?
• RQ4 데이터 증강이 자원이 제한된 병리 영상 분류에서 일반화 능력을 얼마나 향상시키는가?
• RQ5 패치 기반 딥 러닝 프레임워크는 큰 전체 슬라이드 영상에서 과적합과 계산 비용을 어떻게 완화할 수 있는가?

주요 결과

• 제안된 DeepNOR-MIL는 테스트된 모든 딥 러닝 변종 중에서 가장 높은 정확도(0.879)와 F-score(0.873)를 기록했다.
• DeepISR-MIL는 가장 높은 AUC(0.90)를 기록했으며, 관계 기반 GPMIL 기준선(AUC: 0.90)과 동일하고 최고 성능을 기록한 방법과도 동일했다.
• DeepLSE-MIL는 높은 AUC(0.88)에도 불구하고 정밀도와 재현율이 각각 0.833과 0.192로 낮아 학습의 불안정성을 보였다.
• 노이즈드-오라 연산자는 모든 지표에서 가장 일관된 성능을 보였으며, 이는 이 작업에 가장 적합하다는 것을 시사한다.
• 모든 딥 MIL 모델은 AUC 값으로 0.88에서 0.90 사이를 기록하였으며, 최신 기술 기반 가우시안 프로세스 기반 MIL 방법과 유사한 성능을 보였다.
• 데이터 증강은 특히 제한된 훈련 데이터와 H&E 염색의 높은 변동성 상황에서 모델의 강인성을 크게 향상시켰다.