[논문 리뷰] Deep Weakly-Supervised Learning Methods for Classification and Localization in Histology Images: A Survey

Jérôme Rony, Soufiane Belharbi외 4명|arXiv (Cornell University)|2019. 09. 08.

AI in cancer detection인용 수 27

한 줄 요약

이 종합 검토에서는 조직도 분류 및 국소화를 위한 딥 레이어 약한 지도 학습 방법에 대한 분류 체계를 제안하며, 이를 하향식 및 상향식 접근 방식으로 분류한다. GlaS 및 CAMELYON16 데이터셋에서 대표적인 방법들을 평가한 결과, CAM의 과소활성화, 과다활성화, 임계값 민감도, 모델 선택 편향으로 인해 국소화 성능이 열악한 것으로 드러났으며, 일반적인 자연 이미지 방법에 비해 조직도 특화 기법이 더 뛰어난 성능을 보였다.

ABSTRACT

Using deep learning models to diagnose cancer from histology data presents several challenges. Cancer grading and localization of regions of interest (ROIs) in these images normally relies on both image- and pixel-level labels, the latter requiring a costly annotation process. Deep weakly-supervised object localization (WSOL) methods provide different strategies for low-cost training of deep learning models. Using only image-class annotations, these methods can be trained to classify an image, and yield class activation maps (CAMs) for ROI localization. This paper provides a review of state-of-art DL methods for WSOL. We propose a taxonomy where these methods are divided into bottom-up and top-down methods according to the information flow in models. Although the latter have seen limited progress, recent bottom-up methods are currently driving much progress with deep WSOL methods. Early works focused on designing different spatial pooling functions. However, these methods reached limited localization accuracy, and unveiled a major limitation -- the under-activation of CAMs which leads to high false negative localization. Subsequent works aimed to alleviate this issue and recover complete object. Representative methods from our taxonomy are evaluated and compared in terms of classification and localization accuracy on two challenging histology datasets. Overall, the results indicate poor localization performance, particularly for generic methods that were initially designed to process natural images. Methods designed to address the challenges of histology data yielded good results. However, all methods suffer from high false positive/negative localization. Four key challenges are identified for the application of deep WSOL methods in histology -- under/over activation of CAMs, sensitivity to thresholding, and model selection.

연구 동기 및 목표

• 조직도 분석에서 픽셀 수준의 레이블링 비용과 복잡성을 줄이기 위해 약한 지도 학습 방법을 검토하는 것.
• 조직도 이미지에 특화된 최신 딥 약한 지도 학습 객체 국소화(WSOL) 기법을 식별하고 분류하는 것.
• 공개된 조직도 데이터셋에서 WSOL 방법의 성능을 평가하여 분류 및 국소화 정확도에 초점을 맞추는 것.
• WSOL에서의 핵심 과제인 CAM 과소활성화, 과다활성화, 임계값 민감도, 모델 선택 편향을 분석하는 것.
• 도메인 특화 사전 지식과 개선된 의사 레이블링 전략을 통합하여 조직도에서 WSOL 성능 향상에 기여할 수 있는 연구 방향을 제안하는 것.

제안 방법

• WSOL 방법을 하향식(하향 정보 흐름)과 상향식(상향 정보 흐름) 접근 방식으로 나누는 새로운 분류 체계를 제안한다.
• GlaS(대장암) 및 CAMELYON16(유방암)라는 두 가지 공개 조직도 데이터셋을 사용하여 표준 프rotocol에 따라 대표적인 WSOL 방법을 평가한다.
• 딥 신경망을 이미지 수준의 레이블만으로 훈련시킨 후 생성된 클래스 활성화 맵(CAMs)을 국소화 출력으로 사용한다.
• 편차, 자기주의 어텐션, 얕은 특징, 의사 레이블링, 작업 분리 기법을 통해 CAM의 한계를 완화한다.
• 사전 훈련된 분류기로부터 의사 레이블링을 생성하여 픽셀 수준의 감독을 강화하고 국소화의 강인성을 향상시킨다.
• 두 단계 훈련 전략을 도입한다: 먼저 분류기를 훈련하고 고정한 후, 별도로 국소화기를 훈련시어 분류 및 국소화 성능를 분리한다.

(a)

실험 결과

연구 질문

• RQ1 하향식 및 상향식 딥 WSOL 방법은 조직도 이미지에서 정보 흐름과 성능 측면에서 어떻게 다를까?
• RQ2 자연 이미지에 특화된 일반적인 WSOL 방법들이 조직도 이미지에 대해 얼마나 국소화 정확도에서 일반화되는가?
• RQ3 조직도에서 WSOL의 열악한 국소화 성능의 주요 원인은 무엇이며, 자연 이미지 도메인의 과제와 어떻게 다를까?
• RQ4 CAM 과소활성화와 과다활성화가 국소화 신뢰성에 어떤 영향을 미치며, 이를 완화할 수 있는 기법은 무엇인가?
• RQ5 분류 성능 vs. 국소화 성능 기준의 모델 선택이 조직도에서 최종 WSOL 성능에 어떤 영향을 미치는가?

주요 결과

• 하향식 WSOL 방법이 조직도 이미지 국소화에서 현재 상향식 접근 방식을 능가하고 있으며, 이는 어텐션 및 특징 정제 기술의 발전 덕분이다.
• 자연 이미지에 특화된 일반적인 WSOL 방법은 조직도 데이터에서 열악한 국소화 성능을 보이며, 특히 높은 가짜 양성 및 가짜 음성 비율로 인해 악영향을 미친다.
• CAM 과소활성화는 소규모 특징적인 영역만 활성화되어 더 큰 종양 영역을 놓치는 가짜 음성 결과를 초래한다.
• 최근 조직도에서 관찰된 과다활성화 문제로 인해, 배경과 전경 영역 간 유사도가 높아져 가짜 양성 결과가 발생한다.
• ROI 크기 제약과 사전 훈련된 분류기로부터 생성된 의사 레이블링 등의 사전 지식은 가짜 양성 및 가짜 음성을 줄여 국소화 성능을 향상시킨다.
• 분류 정확도 기준으로만 모델를 선택할 경우 국소화 성능이 열악해지며, 분류 및 국소화 훈련을 분리함으로써 전체 성능을 향상시킬 수 있다.

(b)