[논문 리뷰] Interactive Binary Image Segmentation with Edge Preservation

Jianfeng Zhang, Liezhuo Zhang외 4명|arXiv (Cornell University)|2018. 09. 10.

Medical Image Segmentation Techniques참고 문헌 24인용 수 3

한 줄 요약

이 논문은 초분할 영역과 이중성 보정을 위한 지오데식 거리 기반 단항 항을 사용하는 마르코프 무작위 필드(MRF)를 활용한 새로운 상호작용 이진 이미지 분할 방법을 제안한다. 빠른 이중성 해법기(FBS)와 교대 방식을 통한 최강하 경사 하강법을 결합함으로써, VGG 데이터셋에서 최신 기술 대비 향상된 효율성과 정확도를 확보한 고품질의 경계 유지 분할을 달성한다.

ABSTRACT

Binary image segmentation plays an important role in computer vision and has been widely used in many applications such as image and video editing, object extraction, and photo composition. In this paper, we propose a novel interactive binary image segmentation method based on the Markov Random Field (MRF) framework and the fast bilateral solver (FBS) technique. Specifically, we employ the geodesic distance component to build the unary term. To ensure both computation efficiency and effective responsiveness for interactive segmentation, superpixels are used in computing geodesic distances instead of pixels. Furthermore, we take a bilateral affinity approach for the pairwise term in order to preserve edge information and denoise. Through the alternating direction strategy, the MRF energy minimization problem is divided into two subproblems, which then can be easily solved by steepest gradient descent (SGD) and FBS respectively. Experimental results on the VGG interactive image segmentation dataset show that the proposed algorithm outperforms several state-of-the-art ones, and in particular, it can achieve satisfactory edge-smooth segmentation results even when the foreground and background color appearances are quite indistinctive.

연구 동기 및 목표

• 사용자가 제공한 스크래치를 통합하여 상호작용 이진 이미지 분할에서 색상의 모호한 표현 문제를 해결하기 위해.
• 기존 방법이 실패하는 복잡하거나 저대비 이미지에서 분할 정확도와 경계 유지 능력을 향상시키기 위해.
• 초분할 수준의 지오데식 거리 계산을 통해 계산 비용을 감소시키면서도 고품질 분할을 유지하기 위해.
• MRF 프레임워크 내에서 이중성 유사도를 정규화 요소로 사용하여 경계 민감도와 매끄러움을 향상시키기 위해.
• 교대 방식 전략을 통해 최적화를 분리함으로써 실시간 반응성을 확보한 상호작용 분할을 달성하기 위해.

제안 방법

• 단항 항은 초분할 중심에서 전경 및 배경 시드 집합까지의 지오데식 거리를 계산하여 구성되며, 픽셀 수준의 계산에 비해 계산 부담을 감소시킨다.
• 쌍항 항은 경계 유지 및 노이즈 제거를 위해 이중성 유사도를 활용하며, 빠른 이중성 해법기(FBS)의 경계 인식 스무딩 성질을 활용한다.
• MRF 에너지 최소화 문제는 교대 방식의 다중수단(ADMM)을 사용해 두 개의 하위문제로 분해된다.
• 첫 번째 하위문제는 레이블 최적화를 위해 최강하 경사 하강법(SGD)으로 해결하고, 두 번째 문제는 매끄러움 강화를 위해 FBS를 효율적으로 사용한다.
• 초분할은 영상 구조를 근사화하여 지오데식 거리 계산을 빠르게 하되 분할 정밀도를 손상시키지 않는다.
• 사용자 클릭 또는 스크래치를 시드 입력으로 통합하여 분할 과정을 안내함으로써 사용자 의도와 일치시킨다.

실험 결과

연구 질문

• RQ1 초분할 기반 지오데식 거리 계산은 상호작용 이진 분할에서 계산 비용을 크게 감소시키면서도 분할 정확도를 유지할 수 있는가?
• RQ2 저대비 또는 복잡한 무늬 조건에서 이중성 유사도 정규화는 총변동(TV)에 비해 객체 경계 유지 능력에서 어떻게 비교되는가?
• RQ3 교대 방식 전략은 효율적이고 반응성이 높은 상호작용 분할을 얼마나 잘 달성할 수 있는가? 고품질 결과를 제공하는 데에 얼마나 기여하는가?
• RQ4 계산 효율성과 분할 성능의 균형을 고려할 때 최적의 초분할 수는 얼마인가?
• RQ5 전경 및 배경 색상이 시각적으로 유사한 경우, 제안된 방법이 뛰어난 경계 매끄러움과 정확도를 달성할 수 있는가?

주요 결과

• 제안된 방법은 원본 애너테이션을 사용한 VGG 데이터셋에서 평균 교차율(IoU) 0.834와 F2-스코어 0.930을 달성하여 여러 최신 기술을 능가했다.
• 수정된 애너테이션을 사용한 결과, IoU는 0.841, F2-스코어는 0.934를 기록하여 애너테이션 변동에 대해 뛰어난 강인성과 일관성을 입증했다.
• FBS 모듈의 사용은 시각적으로 확인된 바와 같이 경계의 연속성과 매끄러움을 크게 향상시켰으며, 1600개의 초분할을 사용한 분할 결과에서 뚜렷하게 드러났다.
• 초분할 수를 1600개를 초과해 늘여도 성능 향상이 미미하여, 정확도와 효율성의 균형을 고려할 때 1600개가 적절한 균형점을 제공함을 시사한다.
• 비교 시각화 결과에서 FBS 기반 방법이 TV 기반 정규화보다 경계 유지 능력에서 뛰어나, 더 연속적이고 정확한 객체 경계를 생성하는 것으로 확인되었다.
• 제거 분석 결과, FBS 기반 이중성 유사도 항이 노이즈를 효과적으로 감소시키면서도 특히 낮은 대비 영역에서 날카운 경계를 유지하는 데에 효과적이었다.