[논문 리뷰] Finding a Needle in the Haystack: Attention-Based Classification of High Resolution Microscopy Images.

Naofumi Tomita, Behnaz Abdollahi외 4명|arXiv (Cornell University)|2018. 11. 20.

Esophageal Cancer Research and Treatment인용 수 6

한 줄 요약

이 논문은 영역별 관심 영역(ROI) 레이블이 아닌 조직 수준의 레이블만을 사용하여 바렛 식도 및 식도 선암의 고해상도 조직학적 영상 분류를 위한 주의 기반 딥러닝 프레임워크를 제안한다. 컨볼루션 신경망과 격자 기반 주의 메커니즘을 조합한 이 모델은 123장의 테스트 이미지에서 평균 정확도 0.83를 달성하여 ROI 레이블을 사용해 훈련된 최신 슬라이딩 윈도우 방법과 비교해도 뛰어나거나 동등한 성능을 보였다.

ABSTRACT

Deep learning-based methods, such as the sliding window approach for cropped-image classification and heuristic aggregation for whole-slide inference, for analyzing histological patterns in high-resolution microscopy images have shown promising results. These approaches, however, require a laborious annotation process and are fragmented. This diagnostic study collected deidentified high-resolution histological images (N = 379) for training a new model composed of a convolutional neural network and a grid-based attention network, trainable without region-of-interest annotations. Histological images of patients who underwent endoscopic esophagus and gastroesophageal junction mucosal biopsy between January 1, 2016, and December 31, 2018, at Dartmouth-Hitchcock Medical Center (Lebanon, New Hampshire) were collected. The method achieved a mean accuracy of 0.83 in classifying 123 test images. These results were comparable with or better than the performance from the current state-of-the-art sliding window approach, which was trained with regions of interest. Results of this study suggest that the proposed attention-based deep neural network framework for Barrett esophagus and esophageal adenocarcinoma detection is important because it is based solely on tissue-level annotations, unlike existing methods that are based on regions of interest. This new model is expected to open avenues for applying deep learning to digital pathology.

연구 동기 및 목표

• 노르말한 영역별 관심 영역(ROI) 레이블이 필요 없는 고해상도 조직학적 영상 분류를 위한 딥러닝 모델 개발
• 디지털 병리학 분야에서 기존 딥러닝 방법의 분할 및 레이블링 부담 문제 해결
• 전체 슬라이드 영상에서 조직 패턴 분석의 효율성과 확장성 향상
• 주의 메커니즘이 최소한의 레이블링 노력으로도 경쟁 가능한 성능을 달성할 수 있는지 평가

제안 방법

• 모델는 영역별 관심 영역 수준의 감독 없이도 관련 조직 영역에 집중할 수 있도록 컨볼루션 신경망(CNN)과 격자 기반 주의 메커니즘을 통합한다.
• 훈련은 진단 영역의 경계 상자나 픽셀 수준의 레이블이 아닌 전체 슬라이드의 조직 수준 레이블만을 사용하여 수행된다.
• 주의 메커니즘은 공간 격자 영역을 고려하여 고해상도 영상 전반에 걸쳐 구분력 있는 패치를 강조함으로써 작동한다.
• 표준 역전파를 사용한 엔드 투 엔드 훈련이 가능하며, 추론 중 주의 가중치가 동적으로 조정된다.
• 비교를 위해 슬라이딩 윈도우 기반 기준 방법을 사용하였으며, 이는 최신 기술 성능을 확보하기 위해 전체 ROI 레이블을 사용해 훈련되었다.

실험 결과

연구 질문

• RQ1 영역별 관심 영역(ROI) 레이블이 없이도 고해상도 조직학적 영상 분류에 대해 높은 정확도를 달성할 수 있는가?
• RQ2 조직 수준의 레이블로 훈련된 주의 기반 모델의 성능은 ROI 레이블을 사용해 훈련된 슬라이딩 윈도우 방법과 비교해 어떻게 되는가?
• RQ3 감독 없이도 격자 기반 주의 메커니즘이 전체 슬라이드 영상에서 진단적으로 관련 있는 영역을 효과적으로 국소화할 수 있는가?
• RQ4 제안된 방법은 정확도를 유지하거나 향상시키면서도 레이블링 부담을 줄일 수 있는가?

주요 결과

• 제안된 주의 기반 모델은 123장의 테스트 이미지에서 평균 정확도 0.83를 달성하여 바렛 식도 및 식도 선암 분류에서 뛰어난 성능을 보였다.
• 모델의 성능는 ROI 레이블을 다량으로 요구하는 최신 슬라이딩 윈도우 방법과 비교해도 유사하거나 뛰어나거나 하였다.
• 모델는 영역별 관심 영역 레이블이 필요 없음을 확인하여 레이블링 노력과 복잡성을 크게 줄였다.
• 주의 메커니즘이 감독 없이도 진단적으로 관련 있는 조직 패턴을 성공적으로 국소화하여 디지털 병리학에서 약한 감독 학습의 잠재력을 보여주었다.
• 결과적으로 주의 기반 프레임워크는 조직 수준의 레이블만을 사용해도 전체 슬라이드 영상 분류에 효과적일 수 있으며, 임상 병리학 분야에서 넓은 적용 가능성을 시사한다.