[논문 리뷰] Hierarchical Piecewise-Constant Super-regions

Imanol Luengo, Mark Basham외 1명|arXiv (Cornell University)|2016. 05. 19.

Medical Image Segmentation Techniques참고 문헌 25인용 수 4

한 줄 요약

이 논문은 양자화된 특징 공간에서 이방향 노이즈 제거를 사용한 후 그래프 기반의 분할-병합을 통해 고품질의 슈퍼픽셀을 생성하는 새로운 슈퍼픽셀 알고리즘인 계층적 조각별 일정 초지역(Hierarchical Piecewise-Constant Super-regions, HPCS)을 제안한다. 이는 이미지 경계를 강하게 유지하면서 점차 더粗い 초지역을 생성하는 계층적 프레임워크로 일반화되며, 낮은 계산 비용과 메모리 사용량으로 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Recent applications in computer vision have come to heavily rely on superpixel over-segmentation as a pre-processing step for higher level vision tasks, such as object recognition, image labelling or image segmentation. Here we present a new superpixel algorithm called Hierarchical Piecewise-Constant Super-regions (HPCS), which not only obtains superpixels comparable to the state-of-the-art, but can also be applied hierarchically to form what we call n-th order super-regions. In essence, a Markov Random Field (MRF)-based anisotropic denoising formulation over the quantized feature space is adopted to form piecewise-constant image regions, which are then combined with a graph-based split & merge post-processing step to form superpixels. The graph and quantized feature based formulation of the problem allows us to generalize it hierarchically to preserve boundary adherence with fewer superpixels. Experimental results show that, despite the simplicity of our framework, it is able to provide high quality superpixels, and to hierarchically apply them to form layers of over-segmentation, each with a decreasing number of superpixels, while maintaining the same desired properties (such as adherence to strong image edges). The algorithm is also memory efficient and has a low computational cost.

연구 동기 및 목표

• 강한 경계 유지 능력을 갖춘 빠르고 메모리 효율적인 슈퍼픽셀 알고리즘 개발
• 다중 해상도 이미지 표현을 위한 슈퍼픽셀 과다분할을 계층적 프레임워크로 일반화
• 스펙트럼적 및 구조적 품질을 유지하면서 슈퍼픽셀 수를 줄일 수 있도록 기능 제공
• 기타 슈퍼픽셀 방법의 후처리 단계로 적용 가능하도록 기능 제공
• 고차원 MRF 모델과의 통합을 통해 의미 분할 작업에 활용 가능하도록 탐색

제안 방법

• 양자화된 특징 공간에서 이방향 노이즈 제거를 사용한 전역 에너지 최소화 문제로 슈퍼픽셀 생성 공식화
• 조각별 일정한 이미지 영역을 생성하기 위해 마르코프 무작위장(Markov Random Field, MRF) 기반 노이즈 제거 공식 적용
• 노이즈 제거된 영역을 슈퍼픽셀로 정밀 조정하기 위해 그래프 기반의 분할-병합 알고리즘 사용
• 슈퍼픽셀 그래프에 대해 알고리즘을 반복적으로 적용하여 n차 초지역을 형성함으로써 방법을 계층적으로 일반화
• 특징 양자화의 안정성 향상을 위해 k-means++를 다중 재시작과 함께 활용하여 초기화 분산 감소
• 색상 및 평균 색상 기반 특징 처리를 수행하지만, 소수의 수정으로 SIFT나 필터 베이스와 같은 조밀한 특징으로도 확장 가능

실험 결과

연구 질문

• RQ1 간단한 전역 에너지 최소화 프레임워크가 최신 기술 수준의 슈퍼픽셀 품질을 달성할 수 있는가?
• RQ2 세분화된 슈퍼픽셀에서 더 굵은 경계 유지 초지역을 효과적으로 생성하기 위해 과다분할을 계층적으로 일반화할 수 있는가?
• RQ3 HPCS의 계층적 프레임워크가 영역 수를 줄이면서도 경계 유지 능력을 유지하거나 향상시키는가?
• RQ4 HPCS가 다른 알고리즘의 슈퍼픽셀 수를 줄이기 위한 효율적인 후처리 단계로 사용될 수 있는가?
• RQ5 계층적 구성이 의미 분할 작업에서 고차원 MRF 잠재력과 어떻게 통합되는가?

주요 결과

• HPCS는 SLIC 및 SEEDS와 같은 최신 기술 수준의 방법과 비교해도 동등하거나 뛰어난 슈퍼픽셀 품질을 달성하며, N=400 슈퍼픽셀일 때 BR = 0.650, CUE = 0.126, ASA = 0.875를 기록한다.
• SLIC가 생성한 슈퍼픽셀에 HPCS를 두 번째 단계로 적용하면 영역 수를 400에서 평균 26로 줄일 수 있으며, 성능 지표는 유지되거나 약간 향상된다.
• 계층적 후처리 단계는 이미지당 0.5초 미만으로 실행되어 높은 계산 효율성을 입증한다.
• 모든 계층 수준에서 강력한 이미지 경계를 유지하며, 복잡한 장면에서 일관된 경계 부착 성능을 보이는 정성적 결과를 제공한다.
• k-means++를 다중 재시작과 함께 사용함으로써 초기화에 대한 강건성이 확보되어 런타임 간 안정적인 결과를 얻는다.
• 소수의 수정만으로 SIFT나 필터 베이스와 같은 다른 특징 공간으로도 일반화 가능하며, 최소한의 구현 변경으로도 적용 가능하다.