[논문 리뷰] An efficient hierarchical graph based image segmentation

Silvio Jamil F. Guimarães, Jean Cousty외 2명|arXiv (Cornell University)|2012. 06. 13.

Medical Image Segmentation Techniques참고 문헌 10인용 수 4

한 줄 요약

이 논문은 필젠투르크와 후텐로처 기준에 기반한 계층적 영상 분할 방법을 제안하며, 척도 일관성을 보장하기 위해 최소 스패닝 트리를 사용한다. 이는 인과성 및 위치 원칙을 만족하는 완전한 분할 계층을 생성하여 매개변수 조정이 필요 없도록 하면서도 원래 방법과 유사한 효율성을 유지한다.

ABSTRACT

Hierarchical image segmentation provides region-oriented scalespace, i.e., a set of image segmentations at different detail levels in which the segmentations at finer levels are nested with respect to those at coarser levels. Most image segmentation algorithms, such as region merging algorithms, rely on a criterion for merging that does not lead to a hierarchy, and for which the tuning of the parameters can be difficult. In this work, we propose a hierarchical graph based image segmentation relying on a criterion popularized by Felzenzwalb and Huttenlocher. We illustrate with both real and synthetic images, showing efficiency, ease of use, and robustness of our method.

연구 동기 및 목표

• 필젠투르크와 후텐로처의 비계층적 분할 방법은 영역 수의 불안정성과 매개변수 변화에 따른 윤곽선 이동으로 인해 인과성 및 위치 원칙을 위반하므로 이를 해결하고자 한다.
• 모든 척도 수준을 동시에 생성하는 계층적 분할 프레임워크를 개발하여 포함된 분할과 척도 간 안정적인 윤곽선을 보장하고자 한다.
• 단일 임계값이 아닌 자연스러운 계층으로 척도를 통합함으로써 수동 매개변수 조정이 필요 없도록 하여야 한다.
• 원래 방법과 유사한 계산 효율성을 유지하면서도 완전한 다중 척도 표현을 제공하고자 한다.

제안 방법

• 이 방법은 영상의 4-인접성 구조에서 유도된 간선 가중치 그래프 위에 최소 스패닝 트리(MST)를 구축하며, 간선 가중치는 RGB 색상 차이에 기반한다.
• 스케일 기반 병합 기준은 두 방향 스케일 측정치의 최대값으로 정의되며, $ S(X,Y) = \max(S_Y(X), S_X(Y)) $, 여기서 $ S_Y(X) = (\mathrm{Diff}(X,Y) - \mathrm{Int}(X)) \times |X| $이다.
• 영역은 $ k \geq S(X,Y) $ 조건을 만족할 때 병합되며, $ k $ 는 세부 수준을 제어하는 스케일 매개변수로 작용한다.
• 간선은 가중치가 증가하는 순서로 처리되며, 스케일 기준을 충족할 때만 영역이 병합되어 포함된 분할과 안정적인 분할을 보장한다.
• 결과로 생성된 계층은 시각적 강조 지도를 사용하여 시각화되며, 각 영역이 나타나거나 병합되는 척도를 인코딩한다.
• 원래 방법과 동일하게 500 픽셀 이하의 영역은 영역 필터를 적용하여 제거한다.

실험 결과

연구 질문

• RQ1 인과성 및 위치 원칙을 모두 만족하는 계층적 분할 방법을 설계할 수 있는가? 이는 다양한 척도에서 안정적이고 일관된 분할을 보장할 수 있는가?
• RQ2 그래프 기반 분할에서 수동 매개변수 조정이 필요 없도록 하면서도 계산 효율성을 유지할 수 있는가?
• RQ3 제안된 방법은 시각적 품질, 강건성, 척도 수준 간 일관성 측면에서 필젠투르크와 후텐로처의 원래 방법과 비교해 어떻게 성능을 발휘하는가?
• RQ4 시각적 강조 지도를 사용하여 분할의 완전한 계층을 효율적으로 계산하고 시각화할 수 있는가?

주요 결과

• 321×481 해상도의 영상에 대해 제안된 방법은 전체 분할 계층을 2.7초 내에 계산하며, 원래 방법의 1.3초보다 약간 느리다.
• 이 방법은 인과성 및 위치 원칙을 모두 만족한다: 영역 수가 척도가 증가함에 따라 단조롭게 감소하며, 윤곽선이 다양한 척도에서 안정적으로 유지된다.
• 합성 영상에서 이 방법은 영역의 계층적 포함 관계를 정확히 유지하며, 스케일 1000, 2000, 5000, 140000, 224000에서 일관된 병합 행동을 보였다.
• Berkeley 분할 데이터셋의 영상에서 계층은 240에서 443개의 척도 수준을 포함하며, 주관적 평가 결과 다양한 수준에서 고품질의 분할이 이루어졌다.
• 원래 방법과 비교해 복잡한 노이즈가 있는 영상에서 더 강건한 결과를 도출하였으며, 소금-후추 노이즈 70% 및 90% 조건에서도 영역 경계가 더 잘 보존되었다.
• 고정된 영역 수(예: 15개)를 기준으로, 이 방법은 원래 방법에서 수동으로 최적화한 결과와 비교해도 동등하거나 더 높은 품질의 분할을 계층에서 추출할 수 있었다.