[논문 리뷰] RMP-SAM: Towards Real-Time Multi-Purpose Segment Anything

Shilin Xu, Haobo Yuan외 10명|arXiv (Cornell University)|2024. 01. 18.

Advanced Neural Network Applications인용 수 4

한 줄 요약

이 논문은 단일 통합 아키텍처를 통해 인터랙티브, 팬옵티컬, 비디오 인스턴스 세그멘테이션을 동시에 수행할 수 있는 최초의 실시간 다목적 세그멘테이션 모델인 RAP-SAM을 제안한다. 경량 인코더, 이중 어댑터를 갖춘 통합 디코더, 그리고 효율적인 풀링 기반 동적 컨볼루션을 통해 상태 기준의 속도-정확도 트레이드오프를 달성하며, COCO 및 YouTube-VIS 벤치마크에서 이전 방법들을 능가하면서도 실시간으로 작동한다.

ABSTRACT

Recent segmentation methods, which adopt large-scale data training and transformer architecture, aim to create one foundation model that can perform multiple tasks. However, most of these methods rely on heavy encoder and decoder frameworks, hindering their performance in real-time scenarios. To explore real-time segmentation, recent advancements primarily focus on semantic segmentation within specific environments, such as autonomous driving. However, they often overlook the generalization ability of these models across diverse scenarios. Therefore, to fill this gap, this work explores a novel real-time segmentation setting called real-time multi-purpose segmentation. It contains three fundamental sub-tasks: interactive segmentation, panoptic segmentation, and video instance segmentation. Unlike previous methods, which use a specific design for each task, we aim to use only a single end-to-end model to accomplish all these tasks in real-time. To meet real-time requirements and balance multi-task learning, we present a novel dynamic convolution-based method, Real-Time Multi-Purpose SAM (RMP-SAM). It contains an efficient encoder and an efficient decoupled adapter to perform prompt-driven decoding. Moreover, we further explore different training strategies and one new adapter design to boost co-training performance further. We benchmark several strong baselines by extending existing works to support our multi-purpose segmentation. Extensive experiments demonstrate that RMP-SAM is effective and generalizes well on proposed benchmarks and other specific semantic tasks. Our implementation of RMP-SAM achieves the optimal balance between accuracy and speed for these tasks.Our code and model are available at https://github.com/xushilin1/RAP-SAM/.

연구 동기 및 목표

• 이미지, 비디오, 인터랙티브 세그멘테이션 작업을 통합하는 실시간 다목적 세그멘테이션 모델의 부족을 해결하기 위해.
• 엄격한 추론 속도 제약 조건 하에 인터랙티브 세그멘테이션, 팬옵티컬 세그멘테이션, 비디오 인스턴스 세그멘테이션에서 높은 성능을 달성하는 단일 모델을 개발하기 위해.
• 다양한 세그멘테이션 작업 간 성능를 균형 잡는 데 중점을 두되, 계단식 또는 무거운 구성 요소 없이 효율적인 아키텍처와 훈련 전략을 탐색하기 위해.
• 엣지 디바이스에서 기초 모델의 실용적 구현을 가능하게 하기 위해 속도와 모델 효율성 최적화를 위해.
• COCO 및 YouTube-VIS 데이터셋을 사용해 실시간 종합 세그멘테이션을 위한 새로운 벤치마크를 설정하고, 공동 훈련을 통한 통합 학습을 가능하게 하기 위해.

제안 방법

• 모든 세 가지 작업—인터랙티브, 팬옵티컬, 비디오 세그멘테이션—을 위한 공통 쿼리를 사용하는 통합 디코더를 제안하여 단일 프로퍼티에 의해 모든 작업을 처리한다.
• 계산 비용이 높은 픽셀 간 상호작용 어텐션을 대체하기 위해 경량 특징 추출기와 풀링 기반 동적 컨볼루션을 도입하여 빠른 추론을 달성한다.
• 인터랙티브 세그멘테이션과 의미 수준 세그멘테이션 작업 간 지식 전이를 균형 있게 조절하기 위해 이중 어댑터 설계를 도입하여 공동 훈련 성능을 향상시킨다.
• 지연 시간을 증가시키는 계단식 디코더 설계를 피하기 위해 모든 작업에 동일한 피라미드 특징 맵을 사용한다.
• 동일한 초모수를 사용해 COCO 및 YouTube-VIS 데이터셋에서 공동 훈련을 적용하여 다중 작업 일반화를 가능하게 한다.
• 대규모 왜곡(Large-scale jittering, LSJ) 데이터 증강 기법과 선형 웜업 +余弦 감쇠 학습률 스케줄링을 적용해 안정적인 훈련을 유도한다.

실험 결과

연구 질문

• RQ1 단일 실시간 모델이 인터랙티브, 팬옵티컬, 비디오 인스턴스 세그멘테이션 작업에서 모두 높은 성능을 달성할 수 있는가?
• RQ2 다목적 세그멘테이션에서 정확도와 속도를 균형 잡는 데 있어 효율적인 아키텍처 설계는 어떻게 해야 하는가?
• RQ3 어떤 훈련 전략과 어댑터 메커니즘이 인터랙티브 세그멘테이션과 의미 수준 세그멘테이션 간의 공동 훈련을 최적화하는가?
• RQ4 풀링 기반 동적 컨볼루션은 정확도를 유지하면서도 추론 속도를 향상시키기 위해 상호작용 어텐션을 대체할 수 있는가?
• RQ5 공통 쿼리를 갖춘 통합 디코더가 실시간 제약 조건 하에서 다양한 세그멘테이션 작업으로의 일반화 능력은 어떠한가?

주요 결과

• 제안된 실시간 종합 세그멘테이션 벤치마크에서 RAP-SAM은 비교된 모든 방법들 중 최고의 속도-정확도 트레이드오프를 달성한다.
• ResNet-50 기반으로 RAP-SAM은 인터랙티브 세그멘테이션에서 58.1 mIoU, 팬옵티컬 세그멘테이션에서 43.0 PQ를 기록하며, 어댑터를 사용한 Mask2Former을 1.1 mIoU 뛰어넘고 PQ는 0.3 뿐 손실한다.
• YouTube-VIS 2019에서 RAP-SAM은 복잡하고 혼잡한 장면에서 Mask2Former 대비 뛰어난 에지 검출 및 비디오 추적 일관성을 보였다.
• COCO 팬옵티컬 세그멘테이션에서 RAP-SAM은 이미지 및 비디오 세그멘테이션 작업 모두에서 높은 성능를 유지하며, K-Net 대비 더 부드럽고 정확한 마스크를 생성했다.
• 실패 케이스 분석을 통해 고도의 객체 겹침과 고밀도 인스턴스 처리에 한계를 보였으며, 이는 인스턴스 커널 할당 전략의 향상 여지를 시사한다.
• 이중 어댑터 설계는 다양한 모델, 특히 Mask2Former을 포함해도 성능 향상을 이끌어내어 RAP-SAM을 넘어서 보편적인 적용 가능성을 보였다.