[논문 리뷰] Pulmonary Disease Classification Using Globally Correlated Maximum Likelihood: an Auxiliary Attention mechanism for Convolutional Neural Networks

Edward Verenich, Tobías Martín외 3명|arXiv (Cornell University)|2021. 09. 01.

COVID-19 diagnosis using AI인용 수 4

한 줄 요약

이 논문은 전이 불변성이나 등변성 손실 없이 주목할 만한 특징 간의 전역적 공간 상관관계를 포착함으로써, 폐 질환 분류를 위한 컨volution 신경망(CNNs)을 향상시키는 새로운 보조 전역 주의 메커니즘인 전역적으로 관련된 최대우도(GCML)를 제안한다. GCML은 75% 신뢰도로 폐렴 분류에 대한 감도를 2.6%p 향상시켜 93.7%에서 91.1%로 향상시키며, 유사한 질환(예: 바이러스성 폐렴 및 코로나19)을 공간적 맥락을 활용해 더 잘 구분할 수 있도록 한다.

ABSTRACT

Convolutional neural networks (CNN) are now being widely used for classifying and detecting pulmonary abnormalities in chest radiographs. Two complementary generalization properties of CNNs, translation invariance and equivariance, are particularly useful in detecting manifested abnormalities associated with pulmonary disease, regardless of their spatial locations within the image. However, these properties also come with the loss of exact spatial information and global relative positions of abnormalities detected in local regions. Global relative positions of such abnormalities may help distinguish similar conditions, such as COVID-19 and viral pneumonia. In such instances, a global attention mechanism is needed, which CNNs do not support in their traditional architectures that aim for generalization afforded by translation invariance and equivariance. Vision Transformers provide a global attention mechanism, but lack translation invariance and equivariance, requiring significantly more training data samples to match generalization of CNNs. To address the loss of spatial information and global relations between features, while preserving the inductive biases of CNNs, we present a novel technique that serves as an auxiliary attention mechanism to existing CNN architectures, in order to extract global correlations between salient features.

연구 동기 및 목표

• 표준 CNN이 폐 이상소견 간의 전역적 공간 관계를 포착하지 못하는 한계를 해결하기 위해, 유사한 질환(예: 바이러스성 폐렴 및 코로나19) 간의 구분을 어렵게 만드는 요인을 해결한다.
• 전역적 특징 상관관계 인식을 가능하게 하면서도 CNN의 인덕티브 바이어스인 전이 불변성과 등변성을 유지한다.
• 비전 트랜스포머에 비해 더 적은 데이터를 요구함으로써, 데이터가 부족한 의료 영상 환경에서 효과적인 일반화를 가능하게 한다.
• 원본 이미지 토큰이 아닌 클래스 활성화 맵(CAMs)에 기반한 보조 주의 메커니즘을 개발하여, CNN의 백본을 변경하지 않고도 공간적 추론 능력을 향상시킨다.

제안 방법

• GCML은 이미지 패치나 토큰이 아닌 CNN이 생성한 클래스 활성화 맵(CAMs)에 전역 주의 메커니즘을 적용하여 CNN의 인덕티브 바이어스를 유지한다.
• 임계값이 설정된 이항 근사(τ 매개변수를 통한)를 사용하여 이미지 전역에서 주목할 만한 특징의 조건부 확률 분포를 모델링함으로써 전역적 공간 상관관계를 학습한다.
• 주요 쿼리, 키, 밸류 행렬을 CAMs에서 생성하여 네트워크가 전역적 상호관계에 기반해 특징 중요도를 가중치로 평가할 수 있도록 한다.
• 이 방법은 이미지 토큰화를 피함으로써 CNN의 공간 불변성을 유지하면서도 분류를 위한 전역적 구분 능력을 향상시킨다.
• GCML은 경량이며 미분 가능한 모듈로 구현되어 기존 CNN 아키텍처에 재학습 없이 추가할 수 있다.
• 전역적으로 관련된 최대우도 목적함수를 사용하여 엔드 투 엔드로 학습함으로써 공간적으로 일관된 특징 표현을 최적화한다.

실험 결과

연구 질문

• RQ1 표준 CNN에 전역 주의 메커니즘을 통합하여, 유사한 특징을 가지지만 다른 공간 분포를 보이는 폐 질환을 더 잘 구분할 수 있는가?
• RQ2 제안된 GCML 메커니즘이 CNN의 전이 불변성과 등변성을 유지하면서도 전역적 공간 추론을 가능하게 하는가?
• RQ3 GCML은 훨씬 적은 학습 샘플로도 비전 트랜스포머 수준의 성능을 달성할 수 있는가? 특히 데이터가 부족한 의료 영상 환경에서 성능이 어떻게 되는가?
• RQ4 전역적 공간 맥락을 통합할 경우, 바이러스성 폐렴과 유사한 다른 상태를 분류하는 데 감도가 얼마나 향상되는가?

주요 결과

• GCML은 폐렴 분류에서 표준 CNN 대비 93.7%의 테스트 정확도를 달성하여 91.1%로 2.6%p 향상되었다.
• 가설 검정 결과, GCML이 표준 CNN을 75% 신뢰도로 초월함을 확인하였으며(Z = -1.1607), 정확도 향상의 통계적 유의성을 입증하였다.
• 주목할 만한 특징 간의 전역적 공간 상관관계를 활용함으로써 감도를 향상시켜, 겹치는 시각적 패턴을 보이는 질환 간의 구분 능력을 향상시켰다.
• GCML은 비전 트랜스포머가 이러한 특성을 갖지 못하는 것과는 달리, CNN의 인덕티브 바이어스인 전이 불변성과 등변성을 유지하면서도 전역 주의를 추가하였다.
• GCML은 비전 트랜스포머에 비해 데이터 의존도를 낮추었으며, GCML은 자원이 제한된 환경에서도 효과적으로 일반화됨을 입증하였다.
• 저자들은 재현 가능성과 향후 연구를 지원하기 위해 모든 코드, 데이터, 모델를 공개하여 의료 AI 분야의 공동체 기반 발전을 지원한다.