[논문 리뷰] Look, Investigate, and Classify: A Deep Hybrid Attention Method for Breast Cancer Classification

Bolei Xu, Jingxin Liu외 7명|arXiv (Cornell University)|2019. 02. 28.

AI in cancer detection참고 문헌 12인용 수 6

한 줄 요약

이 논문은 유방암 조직병리학 영상 분류를 위해 인간의 시각 인지 방식을 모방하는 딥 하이브리드 어텐션 네트워크를 제안한다. 강화학습으로 최적화된 하드-어텐션 메커니즘을 사용하여 정보가 풍부한 영상 패치를 선택적으로 추출한 후, 병변 관련 특징을 강조하기 위해 소프트-어텐션 메커니즘을 적용하여 원본 영상 픽셀의 약 15%만 처리하면서도 96%의 정확도를 달성한다.

ABSTRACT

One issue with computer based histopathology image analysis is that the size of the raw image is usually very large. Taking the raw image as input to the deep learning model would be computationally expensive while resizing the raw image to low resolution would incur information loss. In this paper, we present a novel deep hybrid attention approach to breast cancer classification. It first adaptively selects a sequence of coarse regions from the raw image by a hard visual attention algorithm, and then for each such region it is able to investigate the abnormal parts based on a soft-attention mechanism. A recurrent network is then built to make decisions to classify the image region and also to predict the location of the image region to be investigated at the next time step. As the region selection process is non-differentiable, we optimize the whole network through a reinforcement approach to learn an optimal policy to classify the regions. Based on this novel Look, Investigate and Classify approach, we only need to process a fraction of the pixels in the raw image resulting in significant saving in computational resources without sacrificing performances. Our approach is evaluated on a public breast cancer histopathology database, where it demonstrates superior performance to the state-of-the-art deep learning approaches, achieving around 96\% classification accuracy while only 15% of raw pixels are used.

연구 동기 및 목표

• 큰 원본 영상 크기로 인한 계산 비효율성과 정보 손실 문제를 해결하기 위해 딥 러닝 기반의 조직병리학 영상 분석의 효율성을 향상시키기 위해.
• 이미지 리사이징이나 무작위 컷팅 없이 전체 슬라이드 영상의 관련 영역에만 집중할 수 있는 방법을 개발하기 위해.
• 인간 진단 행동을 모방하기 위해 넓은 영역 선택(보기), 세부 특징 조사(조사), 분류(분류)의 세 단계를 결합하기 위해.
• 강화학습을 통해 영역 선택 정책을 최적화하여 계산 비용을 최소화하면서도 분류 정확도를 향상시키기 위해.
• 최신 기술 대비 공개된 조직병리학 데이터셋에서 뛰어난 성능을 입증하기 위해.

제안 방법

• 분류 작업을 부분 관측 가능 마르코프 결정 과정(POMDP)으로 공식화하여 영상 영역에 대한 순차적 의사결정을 가능하게 한다.
• 각 타임스텝에서 원본 전체 슬라이드 영상에서 관련성이 높은 넓은 영역의 패치를 선택하는 하드-어텐션 메커니즘을 구현한다.
• 학습된 어텐션 맵을 사용하여 각 선택된 패치 내 병변 연관 특징을 강조하기 위해 소프트-어텐션 네트워크(SA-Net)를 적용한다.
• 완전 연결 퓨전 네트워크를 사용하여 소프트-어텐션 특징과 공간적 위치 정보를 융합하여 맥락 인식 특징을 생성한다.
• 장기 단기 기억(LSTM) 네트워크를 사용하여 특징을 처리하고 영상 분류를 수행하며, 다음 조사할 영역을 예측한다.
• 하드-어텐션 메커니즘이 미분 가능하지 않기 때문에, 전체 네트워크를 강화학습을 통해 훈련하여 영역 선택 정책을 최적화한다.

실험 결과

연구 질문

• RQ1 딥 러닝 모델이 원본 영상 픽셀의 극히 소수만 처리하면서도 유방암 조직병리학 영상의 분류를 효과적으로 수행할 수 있는가?
• RQ2 하드-어텐션과 소프트-어텐션을 융합한 하이브리드 어텐션 메커니즘이 기존의 표준 CNN이나 패치 기반 방법에 비해 분류 정확도를 어떻게 향상시키는가?
• RQ3 강화학습 기반의 영역 선택이 무작위 또는 고정 크기 패치 선택에 비해 정확도와 효율성 측면에서 어느 정도 뛰어난가?
• RQ4 소프트-어텐션 메커니즘이 노이즈를 줄이고 분류에 유의미한 특징을 강조하는 데 얼마나 중요한가?
• RQ5 제안된 '보기, 조사, 분류' 프레임워크가 전체 슬라이드 영상 분석에서 인간의 진단 행동을 얼마나 잘 모방할 수 있는가?

주요 결과

• 제안된 방법은 BreakHis 데이터셋에서 40× 확대에서 97.5%의 환자 식별률(PRR), 100×에서 96.2%, 200×에서 97.4%, 400×에서 95.4%를 기록하여 기존의 모든 최신 기술을 뛰어넘는 성능을 보였다.
• 모델는 원본 영상 픽셀의 약 15%만 처리(5개의 112×112 패치)하여 정확도를 유지하면서도 상당한 계산 자원 절감 효과를 보였다.
• 제거 실험 결과 소프트-어텐션 네트워크(SA-Net)를 제거할 경우 정확도가 약 10% 감소함을 확인하여, 이는 불필요한 특징을 걸러내고 노이즈를 줄이는 데 있어 핵심적인 역할을 한다는 것을 입증한다.
• 강화학습 기반의 하드-어텐션 정책은 다양한 확대율에서 생물학적으로 관련성이 높은 영역을 성공적으로 식별하여 강건성과 적응성을 입증했다.
• 이미지 리사이징이나 무작위 컷팅을 피함으로써 정확한 진단에 필수적인 미세한 조직학적 세부 정보를 유지했다.
• 모델는 네 가지 확대율 모두에서 일관되고 높은 성능을 보이며, 다양한 확대율 간에 잘 일반화됨을 확인했다.