[논문 리뷰] Hierarchical Attention Networks for Medical Image Segmentation

Fei Ding, Gang Yang외 6명|arXiv (Cornell University)|2019. 11. 20.

Advanced Neural Network Applications참고 문헌 45인용 수 10

한 줄 요약

이 논문은 고차원 그래프를 통해 자기주의 어텐션을 재구성하여 다중 수준의 맥락적 의존성을 포착하는 새로운 의료 영상 분할 프레임워크인 계층적 어텐션 네트워크(HANet)를 제안한다. 기능 간 높은 상관관계를 바탕으로 희박한 그래프를 구성함으로써, 유사하지 않은 클래스 간 영역에서 발생하는 노이즈 어텐션을 감소시키고, 망막 디스크/컵, 혈관, 폐 분할 작업에서 최신 기술(SOTA) 성능을 달성한다.

ABSTRACT

The medical image is characterized by the inter-class indistinction, high variability, and noise, where the recognition of pixels is challenging. Unlike previous self-attention based methods that capture context information from one level, we reformulate the self-attention mechanism from the view of the high-order graph and propose a novel method, namely Hierarchical Attention Network (HANet), to address the problem of medical image segmentation. Concretely, an HA module embedded in the HANet captures context information from neighbors of multiple levels, where these neighbors are extracted from the high-order graph. In the high-order graph, there will be an edge between two nodes only if the correlation between them is high enough, which naturally reduces the noisy attention information caused by the inter-class indistinction. The proposed HA module is robust to the variance of input and can be flexibly inserted into the existing convolution neural networks. We conduct experiments on three medical image segmentation tasks including optic disc/cup segmentation, blood vessel segmentation, and lung segmentation. Extensive results show our method is more effective and robust than the existing state-of-the-art methods.

연구 동기 및 목표

• 의료 영상 분할에서 클래스 간 유사성, 높은 변동성, 노이즈 문제를 해결한다.
• 유사하지 않은 기능에서 노이즈 맥락을 집계하는 단일 수준 자기주의 어텐션 기법의 한계를 극복한다.
• CNN에 계층적 맥락 모델링 기능을 추가할 수 있는 유연하고 플러그인 방식의 어텐션 모듈을 개발한다.
• 의료 영상 응용 분야에서 입력 변동성과 노이즈 기능에 대한 강건성을 향상시킨다.

제안 방법

• 에지가 높이 상관관계가 있는 기능 노드 간에만 존재하는 고차원 그래프 기반 자기주의 어텐션으로 재구성한다.
• 초기 어텐션 맵에서 희박한 그래프를 구성하여 저상관도, 노이즈가 있는 연결을 필터링한다.
• 다중 수준 이웃 집합(예: 1차 및 2차 이웃)을 수행하여 계층적 맥락을 포착한다.
• 다양한 이웃 수준의 특징을 융합하여 표현을 풍부화하면서도 관련 없는 맥락을 억제한다.
• 기존의 U-Net 및 인코더-디코더 아키텍처에 계층적 어텐션(HA) 모듈을 플러그인 방식으로 통합한다.
• 유사도 계산을 위해 상관관계 기반 유사도를 사용하고, 이에 따라 임계값을 적용하여 희박한 그래프를 형성한다.

실험 결과

연구 질문

• RQ1 고차원 그래프에서 계층적 맥락 모델링이 의료 영상에서 클래스 간 유사한 영역에서 발생하는 노이즈 어텐션을 줄일 수 있는가?
• RQ2 다중 수준 이웃 집합이 단일 수준 자기주의 어텐션보다 특징 표현을 향상시키는가?
• RQ3 제안된 계층적 어텐션 모듈이 기존의 CNN 아키텍처에 쉽게 통합될 수 있는가?
• RQ4 기존의 최신 기술(SOTA) 방법과 비교해 높은 입력 변동성과 노이즈 상황에서의 성능은 어떠한가?

주요 결과

• DRIVE 데이터셋에서 망막 혈관 분할 작업에서 HANet h2는 F1 스코어 0.8300과 특이도 0.9843을 기록하여 최고 성능을 달성했다.
• LUNA 데이터셋에서 HANet h2는 IoU 0.9768과 정확도 0.9945를 기록하여 DeepLabv3+와 DANet를 모두 초월했다.
• HANet h1과 h2 모두 세 가지 데이터셋 전반에서 기준 U-Net 및 R2U-Net보다 모든 지표에서 뛰어난 성능을 보였다.
• 정성적 결과에서 HANet는 혈관과 같이 작은 크기, 굴곡진 형태, 변형된 구조를 가진 객체를 더 잘 탐지하는 것으로 나타났다.
• 저대비 또는 모호한 영역에서 특히 입력 변동성과 노이즈에 대해 뛰어난 강건성을 보였다.
• HANet는 네 가지 벤치마크 데이터셋에서 최신 기술(SOTA) 성능을 달성하여 일반화 능력과 효과성을 입증했다.