[논문 리뷰] Video Polyp Segmentation: A Deep Learning Perspective

Ge-Peng Ji, Guobao Xiao외 5명|arXiv (Cornell University)|2022. 03. 27.

Colorectal Cancer Screening and Detection인용 수 4

한 줄 요약

이 논문은 다양한 애너테이션(마스크, 경계, 스케치, 다각형, 속성)을 포함한 대규모 비디오 폴립 세분화(VPS) 데이터셋인 SUN-SEG를 소개하고, 장기 및 단기 시공간적 의존성을 포괄적으로 포착하기 위해 정규화된 자기주의를 사용하는 글로벌에서 로컬로의 인코딩을 적용한 경량 딥러닝 모델인 PNS+를 제안한다. PNS+는 SUN-SEG 벤치마크에서 170 FPS의 추론 속도를 기록하며 최신 기술 수준(SOTA) 성능을 달성하여 실시간 정확도 높은 VPS의 새로운 기준을 설정한다.

ABSTRACT

We present the first comprehensive video polyp segmentation (VPS) study in the deep learning era. Over the years, developments in VPS are not moving forward with ease due to the lack of large-scale fine-grained segmentation annotations. To address this issue, we first introduce a high-quality frame-by-frame annotated VPS dataset, named SUN-SEG, which contains 158,690 colonoscopy frames from the well-known SUN-database. We provide additional annotations with diverse types, i.e., attribute, object mask, boundary, scribble, and polygon. Second, we design a simple but efficient baseline, dubbed PNS+, consisting of a global encoder, a local encoder, and normalized self-attention (NS) blocks. The global and local encoders receive an anchor frame and multiple successive frames to extract long-term and short-term spatial-temporal representations, which are then progressively updated by two NS blocks. Extensive experiments show that PNS+ achieves the best performance and real-time inference speed (170fps), making it a promising solution for the VPS task. Third, we extensively evaluate 13 representative polyp/object segmentation models on our SUN-SEG dataset and provide attribute-based comparisons. Finally, we discuss several open issues and suggest possible research directions for the VPS community.

연구 동기 및 목표

• 158,690개의 프레임 수준 애너테이션을 포함한 대규모로 정밀하게 애너테이션된 비디오 폴립 세분화 데이터셋의 부족 문제를 해결하기 위해 SUN-SEG를 구축한다.
• 장기 및 단기 시공간적 의존성을 효과적으로 포착할 수 있는 강력하고 실시간 동작이 가능한 VPS 베이스라인 모델을 개발한다.
• 새로운 SUN-SEG 데이터셋에서 13개의 최신 폴립 및 객체 세분화 모델을 종합적으로 평가하는 첫 번째 포괄적인 벤치마크를 수립한다.
• 실제 대장내 endoscopy 조건에서 지속적인 과제를 규명하고 향후 연구 방향을 제안한다.

제안 방법

• 글로벌에서 로컬로의 학습 프레임워크를 제안한다: 앵커 프레임을 처리하는 글로벌 인코더와 후속 프레임을 처리하는 로컬 인코더를 통해 장기 및 단기 시공간적 특징을 추출한다.
• 공간적 및 시간적 신호를 특징 간에 주의를 기울여 특징 표현을 동적으로 개선하는 정규화된 자기주의(NS) 블록을 도입한다.
• 글로벌 및 로컬 인코더가 융합된 후 두 개의 NS 블록을 거쳐 점진적인 정밀도 향상을 이루는 다중 스트림 아키텍처를 사용한다.
• 공유 백본과 경량 주의 모듈을 활용한 단순하지만 효과적인 아키텍처를 적용하여 실시간 추론(170 FPS)을 보장한다.
• SUN-SEG 데이터셋에서 속성, 객체 마스크, 경계, 스케치, 다각형의 다섯 가지 애너테이션 유형을 활용하여 다양한 후행 작업을 지원한다.
• 다양한 과도한 조건(예: HO, LO, SV, FM, OV)에서의 성능 평가를 위해 13개의 모델을 대상으로 광범위한 추론 및 비교 연구를 수행한다.

실험 결과

연구 질문

• RQ1 다양한 의료 AI 작업을 지원할 수 있도록 다중 애너테이션을 포함한 대규모 다중 애너테이션 비디오 폴립 세분화 데이터셋을 어떻게 구축할 수 있는가?
• RQ2 장기 및 단기 시간적 의존성을 모두 모델링할 수 있는 실시간 정확도 높은 비디오 폴립 세분화를 위한 최적의 아키텍처 설계는 무엇인가?
• RQ3 고리드, 저대비, 반사광 등의 과도한 대장내 endoscopy 조건에서 기존 최신 기술 수준의 폴립 세분화 모델은 어떻게 성능을 내는가?
• RQ4 현재 모델의 주요 실패 원인은 무엇이며, 이를 체계적으로 진단하고 해결할 수 있는가?
• RQ5 임상 환경에서 강력하고 신뢰할 수 있으며 개인정보 보호 기능이 탑재된 VPS를 발전시키기 위해 가장 유망한 향후 연구 방향은 무엇인가?

주요 결과

• PNS+는 SUN-SEG 데이터셋에서 13개의 경쟁 모델을 모두 압도하는 최고의 성능을 기록하며 다양한 평가 지표에서 뛰어난 성능을 보였다.
• 모델은 실시간 추론 속도 170 FPS를 달성하여 내 endoscopy 시스템에 임상 적용에 적합하다.
• HO(매우 불규칙한 형태), LO(저대비), SV(작은 크기)와 같은 어려운 속성에서 모델들이 일관되게 실패함을 확인하여, 더 나은 특징 학습이 필요함을 시사한다.
• 외과 기구와 광학 플레어에서 잘못된 양성 및 음성 결과가 발생함에 따라 의미적 이해 및 폴립 전용 표현 학습의 한계를 드러낸다.
• 시간 모델링의 부족은 차폐 상황(예: OV, OC)에서 성능 저하를 초래함을 시사하며, 더 나은 영상 수준의 추론이 필요함을 시사한다.
• 벤치마크 분석 결과, 현재 SOTA 모델들이 가장 과도한 SUN-SEG-Hard 서브셋에서 민감도 점수가 0.63 이하임을 확인하여 향후 개선 여지가 크다는 점을 확인했다.