[논문 리뷰] ScribbleSeg: Scribble-based Interactive Image Segmentation

Xi Chen, Yau Shing Jonathan Cheung외 2명|arXiv (Cornell University)|2023. 03. 20.

Visual Attention and Saliency Detection인용 수 6

한 줄 요약

이 논문은 다양한 스크래치 시뮬레이션을 활용한 훈련과 결정론적 평가 프로토콜을 통해 기존 클릭 기반 방법보다 뛰어난 성능을 보이는 스크래치 기반 상호작용 이미지 세분화를 위한 새로운 프레임워크인 ScribbleSeg를 소개한다. 본 논문은 스크래치 신호를 보다 효과적으로 활용하기 위해 두 가지 핵심 모듈—프로토타입 적응 모듈(PAM)과 수정 보정 모듈(CRM)—을 제안하여 벤치마크 데이터셋에서 최신 기술 수준의 성능을 달성하며 상호작용 횟수를 크게 줄였다.

ABSTRACT

Interactive segmentation enables users to extract masks by providing simple annotations to indicate the target, such as boxes, clicks, or scribbles. Among these interaction formats, scribbles are the most flexible as they can be of arbitrary shapes and sizes. This enables scribbles to provide more indications of the target object. However, previous works mainly focus on click-based configuration, and the scribble-based setting is rarely explored. In this work, we attempt to formulate a standard protocol for scribble-based interactive segmentation. Basically, we design diversified strategies to simulate scribbles for training, propose a deterministic scribble generator for evaluation, and construct a challenging benchmark. Besides, we build a strong framework ScribbleSeg, consisting of a Prototype Adaption Module(PAM) and a Corrective Refine Module (CRM), for the task. Extensive experiments show that ScribbleSeg performs notably better than previous click-based methods. We hope this could serve as a more powerful and general solution for interactive segmentation. Our code will be made available.

연구 동기 및 목표

• 스크래치 기반 상호작용 이미지 세분화를 위한 표준화된 훈련 및 평가 프로토콜을 수립하는 것. 이는 클릭 기반 방법에 비해 다소 미흡하게 다뤄져 온 분야이다.
• 기존 스크래치 기반 접근법에서의 일관성 없는 벤치마크, 다양한 훈련 데이터 시뮬레이션, 공정한 평가 지표의 부족을 해결하는 것.
• 클릭보다 더 풍부한 정보를 지닌 스크래치의 특성을 효과적으로 활용할 수 있는 강력하고 일반화 능력이 뛰어난 모델을 개발하는 것.
• 스크래치가 상호작용 형식으로서 고정밀도 세분화를 달성하기 위해 필요한 상호작용 횟수를 크게 줄일 수 있음을 입증하는 것.

제안 방법

• 훈련을 위한 다양한 실재감 있는 스크래치를 생성하기 위해 다수의 메타 시뮬레이터를 설계하며, 예측 오차에 대한 반복적 개선 기법을 포함한다.
• 평가를 위한 결정론적 스크래치 생성기 도입으로, 정답과 예측 간 최대 차이 영역에 대해 양성 및 음성 스크래치를 생성한다.
• 사용자가 제공한 스크래치를 기반으로 세분화 모델의 투영 커널을 업데이트하는 프로토타입 적응 모듈(PAM)을 제안하여 외관 및 공간적 특징을 더 잘 포착한다.
• 모델의 예측에서 오차 영역을 추정하고 마스크를 보완함으로써 세부 정확도를 향상시키는 수정 보정 모듈(CRM)을 개발한다.
• 이미지 및 스크래치 마스크를 모두 입력으로 사용하는 방식으로 클릭 기반 방법의 베이스라인을 변형하여 특징 표현을 향상시킨다.
• 백본 모델로 SegFormer-B3를 사용하고, ADE20K, Berkeley, SBD, DAVIS 데이터셋에서 표준화된 지표(예: IoU 85/90일 때의 상호작용 횟수(NoI))를 사용해 평가한다.

실험 결과

연구 질문

• RQ1 어떻게 스크래치 기반 상호작용 세분화 모델의 훈련을 위한 다양한 실재감 있는 데이터 시뮬레이션 전략을 설계할 수 있는가?
• RQ2 특히 클릭 기반 베이스라인과 비교할 때, 스크래치 기반 방법 간의 공정하고 일관된 평가 프로토콜은 무엇인가?
• RQ3 클릭이 제공하는 것보다 더 풍부한 공간적 및 외관 정보를 스크래치에서 어떻게 효과적으로 활용할 수 있는가?
• RQ4 PAM 및 CRM과 같은 전용 모듈이 스크래치 기반 세분화에서 성능 향상에 얼마나 기여하는가?
• RQ5 스크래치 기반 방법이 상호작용 효율성과 정확도 측면에서 최신 기술 수준의 클릭 기반 방법을 초월할 수 있는가?

주요 결과

• DAVIS 데이터셋에서 ScribbleSeg는 IoU 90일 때 NoI가 1.35를 기록하여 최고의 클릭 기반 방법(FocalClick-B3-S2)의 NoI 1.92를 상회한다.
• ADE20K 벤치마크에서 ScribbleSeg-B3는 복잡한 시나리오에서 8개의 스크래치로 94.9%의 IoU를 달성하여 다양한 카테고리에 걸쳐 뛰어난 일반화 능력을 보였다.
• PAM 및 CRM을 모두 포함한 전체 ScribbleSeg 모델은 기존 베이스라인 대비 상호작용 횟수(NoI)를 25% 감소시켜 제안된 모듈의 효과를 입증했다.
• CRM 모듈은 특히 세부 사항을 보완하는 데서 뚜렷한 성능 향상을 보였으며, 추론 실험에서 이전 단계의 특징을 분리함으로써 정확도가 더욱 향상됨을 확인했다.
• 결정론적 평가 프로토콜 덕분에 클릭 기반 방법과의 공정한 비교가 가능해졌고, 이는 단일 스크래치가 다수의 클릭보다 더 좋은 결과를 낼 수 있음을 드러냈다.
• ScribbleSeg-B3는 DAVIS에서 IoU 90일 때 NoI가 3.99를 기록하여 최고의 클릭 기반 방법의 4.90보다 뛰어나, 스크래치 상호작용 형식의 우수성을 확인했다.