[논문 리뷰] Progressively Normalized Self-Attention Network for Video Polyp Segmentation

Ge-Peng Ji, Yu-Cheng Chou외 5명|arXiv (Cornell University)|2021. 05. 18.

Advanced Image Processing Techniques참고 문헌 25인용 수 13

한 줄 요약

이 논문은 장기적인 공간-시간적 의존성을 점진적으로 캡처하는 새로운 정규화된 자기주의 메커니즘을 기반으로 한 실시간 영상 폴립 세그멘테이션 모델인 PNS-Net을 제안한다. 경량의 백본 없는 자기주의 블록을 순환성과 CNN과 통합함으로써, PNS-Net은 단일 GPU에서 약 140 FPS의 속도로 최신 기술 수준(SOTA) 성능을 달성하며, 후처리 없이 다양한 벤치마크에서 기존 방법들을 능가한다.

ABSTRACT

Existing video polyp segmentation (VPS) models typically employ convolutional neural networks (CNNs) to extract features. However, due to their limited receptive fields, CNNs can not fully exploit the global temporal and spatial information in successive video frames, resulting in false-positive segmentation results. In this paper, we propose the novel PNS-Net (Progressively Normalized Self-attention Network), which can efficiently learn representations from polyp videos with real-time speed (~140fps) on a single RTX 2080 GPU and no post-processing. Our PNS-Net is based solely on a basic normalized self-attention block, equipping with recurrence and CNNs entirely. Experiments on challenging VPS datasets demonstrate that the proposed PNS-Net achieves state-of-the-art performance. We also conduct extensive experiments to study the effectiveness of the channel split, soft-attention, and progressive learning strategy. We find that our PNS-Net works well under different settings, making it a promising solution to the VPS task.

연구 동기 및 목표

• 내시경 영상에서 CNN 기반 모델이 전역적인 시간적 및 공간적 맥락을 포착하는 데에 한계가 있음을 해결하기 위해.
• 기존 자기주의의 제한된 수신 영역과 높은 계산 비용이 실시간 영상 세그멘테이션에 영향을 미치는 문제를 해결하기 위해.
• 추론 속도를 희생시키지 않고도 폴립 세그멘테이션 정확도를 향상시키는 경량의 플러그인 자기주의 메커니즘을 개발하기 위해.
• 점진적 학습, 채널 분할, 소프트-주의 메커니즘의 효과를 검증하여 다양한 폴립 형태와 운동 패턴에 대한 세그멘테이션의 견고성을 향상시키기 위해.

제안 방법

• PNS-Net의 핵심은 채널별 정규화를 통해 쿼리, 키, 밸류 특징을 계산하는 정규화된 자기주의(NS) 블록으로, 이는 학습 안정성 향상과 특징 표현 향상에 기여한다.
• NS 블록은 순환성 메커니즘(R=2)과 함께 스택되어 프레임 간 특징을 점진적으로 정교화함으로써 장기적인 시간적 의존성을 효과적으로 모델링할 수 있도록 한다.
• 채널 분할 전략은 특징을 쿼리/키/밸류 브랜치로 나누어, 다양한 속도에서의 다중 척도 폴립 운동에 적응적으로 집중할 수 있도록 한다.
• NS 블록은 CNN 기반 인코더-디코더 아키텍처에 통합되어, 완전한 지도 학습과 후처리 없이 엔드 투 엔드 학습이 가능하도록 한다.
• 소프트-주의 메커니즘이 도입되어 주의 맵과 특징 집합의 중요도를 동적으로 가중함으로써 특징 정밀도를 향상시킨다.
• 점진적 학습 전략은 학습 중에 점차적으로 NS 블록의 수를 증가시켜 최적화 안정성 향상과 소규모 데이터셋에서의 과적합을 줄인다.

실험 결과

연구 질문

• RQ1 정규화된 자기주의 메커니즘이 영상 폴립 세그멘테이션에서 정확도와 추론 속도 측면에서 표준 자기주의와 비교해 어떻게 성능을 냈는가?
• RQ2 내시경 영상에서 다양한 폴립 운동 패턴을 모델링하기 위해 최적의 정규화된 자기주의 블록 수와 채널 분할 수는 얼마인가?
• RQ3 소프트-주의와 점진적 학습의 통합이 소규모 및 도전적인 VPS 데이터셋에서 세그멘테이션 성능을 향상시키는가?
• RQ4 자기주의 기반 모델이 영상 폴립 세그멘테이션에서 정확도와 실시간 추론 속도 양면에서 CNN 기반 최신 기술 수준 방법들을 능가할 수 있는가?

주요 결과

• PNS-Net은 CVC-300-TV에서 최대 0.887의 Dice 스코어를 기록하여 이전 최신 기술 수준보다 약 10% 높은 성능을 달성한다.
• CVC-612-T에서 PNS-Net은 Dice 스코어 0.860과 $S_\alpha$ 0.903을 기록하여 모든 지표에서 뛰어난 성능을 보였다.
• 제거 분석 결과, R=2의 정규화된 자기주의 블록이 최고의 성능을 내며, 이를 초과할 경우 과적합이 발생함을 확인하였다.
• 소프트-주의 메커니즘은 하드-주의 변형 대비 $S_\alpha$와 $E_\phi$에서 각각 0.01~0.02 향상시켰다.
• N=4의 채널 분할이 국소 운동과 전반적 맥락을 모두 효과적으로 포착하는 데 가장 적합한 균형을 이룩하였으며, 더 작은 또는 더 큰 분할보다 성능이 뛰어났다.
• PNS-Net은 단일 RTX 2080 GPU에서 약 140 FPS로 실행되어, 후처리 없이도 실시간 추론 능력을 입증하였다.