[논문 리뷰] A Novel Global Spatial Attention Mechanism in Convolutional Neural Network for Medical Image Classification

Linchuan Xu, Jun Huang외 3명|arXiv (Cornell University)|2020. 07. 31.

COVID-19 diagnosis using AI참고 문헌 31인용 수 11

한 줄 요약

이 논문은 소수의 의료 영상 데이터셋에서 국소적 주의 메커니즘의 한계를 해결하기 위해, 데이터셋 내 모든 영상에 대해 단일 공유 가중치 맵을 학습하는 새로운 글로벌 공간 주의 메커니즘을 제안한다. 이 메커니즘은 픽셀 강도 분포를 기반으로 중요한 픽셀과 중요하지 않은 픽셀을 구분하는 이진 분류기를 사용한다. 이 방법은 GoogleNet, VGG, ResNet, DenseNet 등의 다양한 컨volutional 네트워크 아키텍처에서 의료 영상 및 얼굴 표정 데이터셋에서 과적합을 줄이고 구조적으로 일관된 영역을 강조함으로써 성능 향상과 해석 가능성 향상을 이룬다.

ABSTRACT

Spatial attention has been introduced to convolutional neural networks (CNNs) for improving both their performance and interpretability in visual tasks including image classification. The essence of the spatial attention is to learn a weight map which represents the relative importance of activations within the same layer or channel. All existing attention mechanisms are local attentions in the sense that weight maps are image-specific. However, in the medical field, there are cases that all the images should share the same weight map because the set of images record the same kind of symptom related to the same object and thereby share the same structural content. In this paper, we thus propose a novel global spatial attention mechanism in CNNs mainly for medical image classification. The global weight map is instantiated by a decision boundary between important pixels and unimportant pixels. And we propose to realize the decision boundary by a binary classifier in which the intensities of all images at a pixel are the features of the pixel. The binary classification is integrated into an image classification CNN and is to be optimized together with the CNN. Experiments on two medical image datasets and one facial expression dataset showed that with the proposed attention, not only the performance of four powerful CNNs which are GoogleNet, VGG, ResNet, and DenseNet can be improved, but also meaningful attended regions can be obtained, which is beneficial for understanding the content of images of a domain.

연구 동기 및 목표

• 소규모 의료 영상 데이터셋에서 영상 별 주의 맵이 과적합과 일관되지 않은 해석을 유발할 수 있는 국소적 주의 메커니즘의 한계를 해결하기 위해.
• 모든 영상에 대해 단일 공유 가중치 맵을 공유하는 글로벌 공간 주의 메커니즘을 개발하여 공통적인 해부학적 또는 병리학적 패턴을 반영하기 위해.
• 데이터 기반의 임bedded 접근 방식을 통해 엔드 투 엔드로 픽셀 중요도를 학습함으로써 의료 영상 분류에서 CNN의 성능 향상과 해석 가능성 향상을 위해.
• GoogleNet, VGG, ResNet, DenseNet 등의 다양한 CNN 아키텍처와 의료 및 얼굴 표정 영상 데이터셋에 걸쳐 이 방법의 일반화 능력을 입증하기 위해.

제안 방법

• 글로벌 주의 메커니즘은 중요한 픽셀과 중요하지 않은 픽셀 간의 결정 경계를 모델링하여 모든 입력 영상에 대해 단일 공유 가중치 맵을 학습한다.
• 각 공간 위치에서 모든 영상의 픽셀 강도를 특징으로 사용하여 이진 분류기가 픽셀이 분류에 중요한지 여부를 결정한다.
• 이진 분류기는 CNN 아키텍처에 통합되어 엔드 투 엔드 훈련 중 주 분류 네트워크와 함께 공동 최적화된다.
• 대부분의 기존 국소적 주의 메커니즘이 히든 레이어에 적용되는 것과는 달리, 이 방법은 입력 레이어에서 직접 작동한다.
• 이 방법은 아키텍처 수정 없이도 어떤 CNN 아키텍처에나 통합할 수 있는 일반적인 접근 방식이다.
• 주의 메커니즘은 사전 정의된 지표가 아닌 데이터 기반 패턴에 기반해 픽셀 중요도를 학습하는 임베디드 특징 선택 방법으로 구현된다.

실험 결과

연구 질문

• RQ1 국소적 주의 메커니즘과 비교해 볼 때, 단일 글로벌 주의 맵이 소규모 의료 영상 데이터셋에서 분류 성능 향상에 기여하는가?
• RQ2 데이터 기반의 글로벌 공간 주의 메커니즘이 유사한 구조적 내용을 가진 영상 간에 더 일관되고 해석 가능한 주의 영역을 제공하는가?
• RQ3 제안된 주의 메커니즘이 GoogleNet, VGG, ResNet, DenseNet 등의 다양한 CNN 아키텍처에 효과적으로 통합될 수 있는가?
• RQ4 과적합과 성능 측면에서 전통적인 국소적 주의 메커니즘과 다른 특징 선택 방법과 비교해 볼 때 글로벌 주의 메커니즘은 어떻게 성능을 내는가?

주요 결과

• 제안된 글로벌 공간 주의 메커니즘은 두 개의 의료 영상 데이터셋에서 테스트된 네 가지 CNN—GoogleNet, VGG, ResNet, DenseNet—모두의 분류 성능을 크게 향상시켰다.
• 모든 영상에 대해 단일 주의 맵을 공유함으로써 과적합을 줄였으며, 이는 특히 소규모 의료 영상 데이터셋에서 유용하다.
• 주목한 영역는 일관되게 강조되었으며, 도메인 지식과 일치하는 의미 있는 구조적으로 일관된 패턴을 드러냈다.
• 소량의 강도 변동이 있더라도 유사한 영상 간에 동일한 영역가 강조되므로, 국소적 주의 메커니즘보다 더 높은 해석 가능성을 확보했다.
• 이 방법은 얼굴 표정 데이터셋에서도 효과적이었으며, 이는 다른 구조적 영상 도메인에도 적용 가능함을 확인했다.
• CNN과 함께 이진 분류기를 엔드 투 엔드로 훈련함으로써, 외부 도메인 지식이나 사전 처리 없이도 모델이 데이터에서 직접 픽셀 중요도를 학습할 수 있었다.