[논문 리뷰] FANet: A Feedback Attention Network for Improved Biomedical Image Segmentation

Nikhil Kumar Tomar, Debesh Jha외 6명|arXiv (Cornell University)|2021. 03. 31.

Radiomics and Machine Learning in Medical Imaging인용 수 4

한 줄 요약

FANet는 이전 학습 에포크의 예측을 하드 어텐션 가이드로 활용하여 반복적으로 생물의학 영상 분할 마스크를 개선하는 피드백 어텐션 네트워크를 제안한다. 기존 에포크의 마스크를 현재 특징 맵과 통합함으로써 FANet는 추가 계산 비용을 최소화하면서도 일곱 개인 공개 데이터셋에서 분할 정확도를 향상시켜 앙상블 또는 데이터 증강 없이도 최신 기술(SOTA)을 초월한다.

ABSTRACT

The increase of available large clinical and experimental datasets has contributed to a substantial amount of important contributions in the area of biomedical image analysis. Image segmentation, which is crucial for any quantitative analysis, has especially attracted attention. Recent hardware advancement has led to the success of deep learning approaches. However, although deep learning models are being trained on large datasets, existing methods do not use the information from different learning epochs effectively. In this work, we leverage the information of each training epoch to prune the prediction maps of the subsequent epochs. We propose a novel architecture called feedback attention network (FANet) that unifies the previous epoch mask with the feature map of the current training epoch. The previous epoch mask is then used to provide a hard attention to the learned feature maps at different convolutional layers. The network also allows to rectify the predictions in an iterative fashion during the test time. We show that our proposed extit{feedback attention} model provides a substantial improvement on most segmentation metrics tested on seven publicly available biomedical imaging datasets demonstrating the effectiveness of FANet. The source code is available at \url{https://github.com/nikhilroxtomar/FANet}.

연구 동기 및 목표

• 생물의학 영상에서 내부 및 상호 클래스 변동성을 포착하는 데에 한계가 있는 단일 단계 딥러닝 모델의 문제를 해결하기 위해.
• 학습 및 추론 중 이전 학습 에포크의 정보를 활용하여 분할 성능을 향상시키기 위해.
• 피드백 메커니즘을 통해 마스크를 반복적으로 잘라내고 개선함으로써 예측의 자가 수정을 가능하게 하기 위해.
• 대규모이고 다양한 데이터셋, 복잡한 데이터 증강 또는 앙상블 전략에 대한 의존도를 줄이기 위해.
• 적은 학습 에포크로도 높은 정확도를 유지하면서 경량이며 종단간(end-to-end) 학습이 가능한 네트워크를 개발하기 위해.

제안 방법

• FANet는 이전 학습 에포크의 예측 마스크를 하드 어텐션 맵으로 사용하여 현재 에포크의 특징 학습을 이끄는 피드백 메커니즘을 도입한다.
• 특징 맵과 이전 에포크의 마스크를 통합하기 위해 MixPool 블록을 사용하여 요소별 곱셈을 통한 공간 어텐션을 가능하게 한다.
• 채널 간 특징 의존성을 모델링하고 표현 학습을 향상시키기 위해 SE-Residual 블록을 활용한다.
• 대trastive 어텐션 메커니즘을 통해 배경의 혼잡함을 억제하고 관련 영역을 강조함으로써 공간 어텐션을 통합한다.
• 추론 시, 동일한 피드백 메커니즘을 사용하여 마스크를 반복적으로 개선하며, 최대 10회의 반복이 최적임을 확인하였다.
• 피드백 메커니즘은 학습 및 테스트 시간에 모두 적용되어, 재학습 없이도 예측을 점진적으로 향상시킬 수 있도록 한다.

실험 결과

연구 질문

• RQ1 이전 예측에서 유도된 피드백을 사용하여 분할 마스크를 반복적으로 개선하는 것이 다양한 생물의학 영상 데이터셋에서 성능 향상에 기여하는가?
• RQ2 이전 에포크의 예측을 하드 어텐션으로 통합함으로써 특징 표현과 분할 정확도에 어떤 영향을 미치는가?
• RQ3 피드백 메커니즘이 생물의학 분할에서 광범위한 데이터 증강 또는 앙상블 방법의 필요성을 줄이는가?
• RQ4 FANet 아키텍처에서 마스크 개선을 위한 추론 시 반복 횟수의 최적 값은 무엇인가?
• RQ5 정확도, 학습 효율성, 여러 데이터셋에서의 일반화 능력 측면에서 FANet는 최신 기술(SOTA) 방법과 어떻게 비교되는가?

주요 결과

• FANet는 일곱 개인 벤치마크 생물의학 영상 분할 데이터셋 전반에서 상당한 향상을 이룩하였으며, 여러 지표에서 기존의 최신 기술(SOTA) 방법을 능가하였다.
• 마스크 개선을 위한 추론 시 반복 횟수의 최적 값은 10회였으며, 2회 반복 시에도 상당한 성능 향상이 관찰되었고, 5회 이후에는 성능 향상 폭이 미미하였다.
• 제거 실험 결과, 피드백 기반의 MixPool 블록이 핵심임을 확인하였으며, 파arameter 수가 동일한 상황에서도 이를 제거하면 성능 저하가 발생하였다.
• 적은 학습 에포크로도 거의 SOTA 수준의 성능을 달성하여 샘플 효율성 향상과 더 빠른 수렴을 보였다.
• 정성적 결과에서는 FANet가 SOTA 방법 대비 배경 노이즈가 감소하고 더 선명하고 구분 가능한 분할 맵을 생성하는 것으로 나타났다.
• 피드백 메커니즘은 추가적인 학습 가능한 파rameter나 복잡한 변환 없이도 효과적인 하드 어텐션 메커니즘으로 기능하여 특징 표현을 향상시켰다.