[논문 리뷰] FocalClick: Towards Practical Interactive Image Segmentation

Xi Chen, Zhiyan Zhao외 4명|arXiv (Cornell University)|2022. 04. 06.

Image Processing Techniques and Applications인용 수 13

한 줄 요약

FocalClick는 기존 마스크와의 호환성과 함께 속도를 햖스로 향상시키는 새로운 효율적인 인터랙티브 이미지 세그멘테이션 파이프라인을 제안한다. 국소화된 쿼터(대상 쿼터: 거친 세그멘테이션, 집중 쿼터: 정밀 조정)에 초점을 맞춰 FLOPs를 크게 감소시키면서도 정확한 세부 정보를 유지한다. Progressive Merge 기법을 도입해 올바른 영역이 손상되지 않도록 마스크를 보정함으로써, 최소한의 계산 비용으로도 최신 기술(SOTA) 성능을 달성한다.

ABSTRACT

Interactive segmentation allows users to extract target masks by making positive/negative clicks. Although explored by many previous works, there is still a gap between academic approaches and industrial needs: first, existing models are not efficient enough to work on low power devices; second, they perform poorly when used to refine preexisting masks as they could not avoid destroying the correct part. FocalClick solves both issues at once by predicting and updating the mask in localized areas. For higher efficiency, we decompose the slow prediction on the entire image into two fast inferences on small crops: a coarse segmentation on the Target Crop, and a local refinement on the Focus Crop. To make the model work with preexisting masks, we formulate a sub-task termed Interactive Mask Correction, and propose Progressive Merge as the solution. Progressive Merge exploits morphological information to decide where to preserve and where to update, enabling users to refine any preexisting mask effectively. FocalClick achieves competitive results against SOTA methods with significantly smaller FLOPs. It also shows significant superiority when making corrections on preexisting masks. Code and data will be released at github.com/XavierCHEN34/ClickSEG

연구 동기 및 목표

• 저전력 장치에서 기존 인터랙티브 세그멘테이션 모델의 비효율성을 해결하기 위해 계산 비용을 줄이는 것.
• 기존 마스크를 정밀 조정할 때 발생하는 파괴적 업데이트 문제를 해결하여 정확히 세그멘테이션된 영역이 손실되는 것을 방지하는 것.
• 실세계 편집 시나리오에서 모델 성능을 평가하고 향상시키기 위해 새로운 벤치마크와 하위 과제인 '인터랙티브 마스크 보정'을 도입하는 것.
• 실제 산업 배포 요구사항을 고려해 속도, 정확도, 호환성의 균형을 맞춘 실용적인 파이프라인을 개발하는 것.
• 전체 이미지를 다시 계산하지 않고도 기존 마스크를 효과적으로 정밀 조정할 수 있도록 사용자에게 기능을 제공하는 것.

제안 방법

• FocalClick는 전체 이미지 추론을 두 가지 빠른 국소화된 추론으로 분해한다: 대상 쿼터에서의 거친 세그멘테이션과 사용자 클릭 중심의 집중 쿼터에서의 정밀 조정.
• 이전 마스크를 기반으로 대상 쿼터를 선택하고, 저해상도로 리사이징하여 거친 예측을 빠르게 수행한다.
• 거친 예측과 이전 마스크 간의 최대 불일치 영역을 기반으로 집중 쿼터를 동적으로 선택하여 수정이 필요한 영역을 정확히 타겟팅한다.
• Progressive Merge는 형태학적 분석을 사용해 새로운 예측에서 어떤 부분을 유지하고 어떤 부분을 업데이트할지 결정함으로써, 정확한 영역이 덮어쓰이지 않도록 보장한다.
• 모델는 애노테이션 시작부터 시작하는 경우와 마스크 보정을 수행하는 경우를 모두 처리하도록 훈련되며, 동일한 아키텍처로 두 모드를 지원한다.
• 인터랙티브 마스크 보정 작업을 평가하기 위해 새로운 벤치마크인 DAVIS-585가 구축되었다.

실험 결과

연구 질문

• RQ1 국소화된 추론 전략이 인터랙티브 세그멘테이션에서 FLOPs를 크게 줄일 수 있을까? 동시에 최신 기술(SOTA) 정확도를 유지할 수 있을까?
• RQ2 기존 마스크를 효과적으로 보정하면서 정확히 세그멘테이션된 영역이 손상되지 않도록 할 수 있을까?
• RQ3 동적 쿼터 선택 및 정밀 조정이 사용자 상호작용의 효율성과 정확도에 어떤 영향을 미칠까?
• RQ4 통합된 파이프라인이 애노테이션 시작부터 시작하는 경우와 마스크 편집 시나리오를 모두 유사한 성능으로 처리할 수 있을까?
• RQ5 형태학적 기반 병합(Progressive Merge)이 표준 융합 방법에 비해 마스크의 무결성을 얼마나 잘 유지할 수 있을까?

주요 결과

• FocalClick는 DAVIS 및 COCO-Thing 벤치마크에서 SOTA 방법들인 RITM 및 Click-CLIP보다 최대 10배 이상 FLOPs를 줄이며 경쟁력 있는 성능을 달성한다.
• 인터랙티브 마스크 보정 작업을 평가하기 위한 DAVIS-585 벤치마크에서 FocalClick는 RITM을 크게 앞서며, 초기 마스크 세부 정보를 잘 유지하는 데서 두드러진 성능을 보인다.
• 관련 이미지 패치에만 집중함으로써 추론 시간을 줄여, 노트북 및 엣지 시스템과 같은 저전력 장치에의 배포에 적합하다.
• Qualitative 결과에서 볼 수 있듯이, Progressive Merge는 올바른 영역이 손상되지 않도록 효과적으로 방지하며, 여러 번의 편집 후에도 잘 세그멘테이션된 영역이 그대로 유지된다.
• 제거 실험(ablation study) 결과, 대상 쿼터와 집중 쿼터 모두 필수적임을 확인했다: 집중 쿼터를 제거할 경우 FLOPs는 4.5배 증가하고 성능은 30% 감소한다.
• 쿼터링 전략은 하이퍼파라미터 변화에 대해 강건하며, 다양한 비율 설정에서도 성능 변동이 1% 이내로 안정적이고 신뢰할 수 있다.