[논문 리뷰] LooseCut: Interactive Image Segmentation with Loosely Bounded Boxes

Hongkai Yu, Youjie Zhou외 7명|arXiv (Cornell University)|2015. 07. 11.

Visual Attention and Saliency Detection참고 문헌 21인용 수 15

한 줄 요약

이 논문은 이질적인 경계를 가진 상자(즉, 전경 객체를 부분적으로만 커버하는 입력 경계 상자)를 효과적으로 처리하기 위해 전역 유사성 제약 조건과 레이블 일관성 항을 갖는 마르코프 무작위 필드(MRF) 모델을 도입한 새로운 상호작용 이미지 분할 방법 LooseCut을 제안한다. 초기 외관 모델이 정확하지 않을 경우에도 전경-배경 분리 및 레이블링 정확도를 향상시켜 여러 벤치마크에서 최신 기술을 초월하며, 무감독 비디오 분할 및 눈에 띄는 요소 탐지에 기여한다.

ABSTRACT

One popular approach to interactively segment the foreground object of interest from an image is to annotate a bounding box that covers the foreground object. Then, a binary labeling is performed to achieve a refined segmentation. One major issue of the existing algorithms for such interactive image segmentation is their preference of an input bounding box that tightly encloses the foreground object. This increases the annotation burden, and prevents these algorithms from utilizing automatically detected bounding boxes. In this paper, we develop a new LooseCut algorithm that can handle cases where the input bounding box only loosely covers the foreground object. We propose a new Markov Random Fields (MRF) model for segmentation with loosely bounded boxes, including a global similarity constraint to better distinguish the foreground and background, and an additional energy term to encourage consistent labeling of similar-appearance pixels. This MRF model is then solved by an iterated max-flow algorithm. In the experiments, we evaluate LooseCut in three publicly-available image datasets, and compare its performance against several state-of-the-art interactive image segmentation algorithms. We also show that LooseCut can be used for enhancing the performance of unsupervised video segmentation and image saliency detection.

연구 동기 및 목표

• 엄격한 경계 상자 필요로 하는 기존 상호작용 분할 방법의 한계를 해결하여 사용자 애너테이션 부담을 줄이기.
• 자동으로 생성된 제안 사례를 포함하여 전경 객체를 부분적으로만 커버하는 이질적인 경계 상자 조건에서도 강력한 분할을 가능하게 하기.
• 경계 상자 내 배경 오염으로 인해 초기 외관 모델이 정확하지 않을 경우의 분할 정확도 향상.
• 제안된 방법을 활용해 무감독 비디오 분할 및 이미지 눈에 띄는 요소 탐지와 같은 후속 작업의 성능 향상.
• 이질적인 경계 상자에 대해 강력성을 높이면서도 효율성을 유지하는 새로운 MRF 기반 최적화 프레임워크 개발.

제안 방법

• 이미지 격자 위의 MRF에 대해 이진 레이블링 문제로 전경/배경 분할을 공식화하고, 외관 모델링에 혼합 정규분포 모델(GMMs)을 사용한다.
• 전경과 배경 외관 간의 차이를 명시적으로 강조하기 위해 전역 유사성 제약 조건을 도입하여, 노이즈가 있는 초기 모델 조건에서도 분리 성능 향상.
• 이웃이든 비이웃이든 유사한 외관을 가진 픽셀들이 동일한 레이블을 받도록 유도하는 레이블 일관성 에너지 항을 추가하여, 모호한 영역에 대한 강건성 향상.
• 두 제약 조건을 통합한 유일한 MRF 에너지 함수를 구성하고, 효율적인 최적화를 위해 반복적 최대유량 알고리즘을 사용하여 해결.
• 결과로 도출된 분할을 반복적으로 이용해 외관 모델을 개선하며, GrabCut와 유사한 방식이지만 수렴성과 강건성이 향상됨.
• 이 방법을 두 가지 후속 응용에 활용: 시간적 일관성 기반 무감독 비디오 분할 및 다중 분할의 확률적 융합 기반 눈에 띄는 요소 탐지.

실험 결과

연구 질문

• RQ1 입력 경계 상자가 전경 객체를 부분적으로만 커버할 경우에도 분할 방법이 높은 정확도를 유지할 수 있는가?
• RQ2 전역 유사성 제약 조건을 통합할 경우 이질적인 경계 상자 조건에서 분할 성능가 어떻게 향상되는가?
• RQ3 유사한 외관을 가진 픽셀들 간의 레이블 일관성 강제 조건이 분할의 강건성에 어느 정도 기여하는가?
• RQ4 LooseCut가 이질적인 경계 상자 조건에서 표준 벤치마크에서 최신 기술을 초월하는가?
• RQ5 LooseCut는 무감독 비디오 분할 및 이미지 눈에 띄는 요소 탐지 작업에서 효과적으로 재사용될 수 있는가?

주요 결과

• Weizman 데이터셋에서 F-측정치는 0.826, iCoseg 데이터셋에서는 0.841, PASCAL 데이터셋에서는 0.808을 기록하여 GrabCut, OneCut, pPBC를 모두 능가함.
• 눈에 띄는 객체 데이터셋에서 Precision은 0.84, Recall은 0.78, F-측정치는 0.78를 기록하여 GrabCut, OneCut, pPBC를 능가하며, FT와 동등한 성능을 내며 경계 상자 가이던스를 사용함.
• 제거 실험 결과, 전역 유사성 제약 조건을 제거하면 Weizman에서 F-측정치가 0.788로 감소하고, 레이블 일관성 항을 제거하면 0.822로 감소하여 두 구성 요소의 기여도를 확인함.
• 전역 유사성 제약 조건이 제거되었을 때 F-측정치 감소 폭이 더 크므로, 레이블 일관성 항보다 성능 향상에 더 기여함.
• 1024×1024 이미지 평균 처리 시간은 66.52초로, OneCut(77.80초) 및 pPBC(305.60초) 대비 합리적인 효율성을 보이며, 수용 가능한 성능을 확보함.
• 전경과 배경의 외관이 매우 유사할 경우 실패 케이스 발생. 이는 방법이 분할을 유도하기 위해 외관 차이에 의존하기 때문임.