[논문 리뷰] Efficient Multiscale Object-based Superpixel Framework

Felipe Belém, Benjamin Perret외 3명|arXiv (Cornell University)|2022. 04. 07.

Medical Image Segmentation Techniques인용 수 7

한 줄 요약

이 논문은 반복적 시드 과잉 샘플링과 객체 지향적 시드 제거를 통해 고정밀, 고효율 초픽셀 분할을 달성하는 새로운 다중 척도, 객체 기반 초픽셀 프레임워크인 SICLE를 제안한다. DISF와 ODISF를 일반화함으로써, 시각적 특출남 지도의 품질에 의존하지 않고도 강력한 경계 분리 성능을 보이며, 실행 시간이 OISF보다 최대 2.5배 빠르고 SLIC와 경쟁 가능한 성능을 달성한다.

ABSTRACT

Superpixel segmentation can be used as an intermediary step in many applications, often to improve object delineation and reduce computer workload. However, classical methods do not incorporate information about the desired object. Deep-learning-based approaches consider object information, but their delineation performance depends on data annotation. Additionally, the computational time of object-based methods is usually much higher than desired. In this work, we propose a novel superpixel framework, named Superpixels through Iterative CLEarcutting (SICLE), which exploits object information being able to generate a multiscale segmentation on-the-fly. SICLE starts off from seed oversampling and repeats optimal connectivity-based superpixel delineation and object-based seed removal until a desired number of superpixels is reached. It generalizes recent superpixel methods, surpassing them and other state-of-the-art approaches in efficiency and effectiveness according to multiple delineation metrics.

연구 동기 및 목표

• 기존의 고전적 초픽셀 방법이 객체 인식 능력이 부족하고 관련 객체 경계를 유지하지 못하는 한계를 해결하기 위해.
• 기존의 객체 기반 초픽셀 방법에서 높은 계산 비용과 시각적 특출남 지도 품질에 대한 민감성 문제를 해결하기 위해.
• 반복 횟수를 직접 제어할 수 있는 실시간 다중 척도 초픽셀 생성을 가능하게 하는 프레임워크를 개발하기 위해.
• DISF와 ODISF와 같은 기존 반복적 초픽셀 방법을 일반화하여 유한하고 제어 가능한 반복 횟수를 허용하고 효율성을 향상시키기 위해.
• 불완전한 객체 시각적 특출남 지도에 대해서도 강건하면서도 뛰어난 분할 정확도와 속도를 확보하기 위해.

제안 방법

• SICLE는 관련 객체 영역을 포착할 확률을 높이기 위해 시드를 과잉 샘플링함으로써 시작한다.
• 이미지 포레스팅 트랜스폼(IFT)을 사용해 최적의 연결 기반 초픽셀 경계를 반복적으로 수행하여 픽셀을 시드에 할당한다.
• 각 반복 단계에서 지수 감쇠 곡선에 따라 가장 관련성이 낮은 일부 시드를 제거함으로써 이전 단계에서 확보한 정확한 객체 경계를 유지한다.
• 최대 반복 횟수를 설정함으로써 알고리즘이 반복 횟수를 동적으로 제어하여 계산 비용과 출력 척도에 대한 정밀한 제어를 가능하게 한다.
• 객체 정보는 시각적 특출남 지도를 통해 통합되지만, 실제 분할 과정에서는 이를 의존하지 않기 때문에 이 지도의 오류에 강건하다.
• SICLE는 DISF와 ODISF를 일반화하여 반복 횟수를 직접 제어할 수 있고 다양한 객체 척도에서 높은 성능을 유지한다.

실험 결과

연구 질문

• RQ1 단일 실행 내에서 높은 경계 정확도와 낮은 계산 비용을 유지하면서도 다중 척도 초픽셀 분할을 달성할 수 있는가?
• RQ2 입력 시각적 특출남 지도의 오류에 대해 객체 인식 초픽셀 분할이 얼마나 강건하게 작동할 수 있는가?
• RQ3 제어 가능한 반복 횟수 제한을 가진 반복적 시드 제거 방식이 기존의 시드 재계산 방식에 비해 효율성과 정확도를 얼마나 향상시킬 수 있는가?
• RQ4 과잉 샘플링과 객체 기반 시드 정리가 SLIC와 OISF와 같은 표준 초픽셀 방법보다 빠르고 경계 분리 정확도에서 뛰어난가?
• RQ5 DISF와 ODISF의 일반화된 버전을 설계하여 반복 횟수를 직접 제어하면서도 성능을 손상시키지 않을 수 있는가?

주요 결과

• SICLE는 ECSSD, PASCAL-S, DUT-OMRON을 포함한 모든 테스트 데이터셋에서 경계 정확도(UE 측정 기준)에서 최고 또는 거의 최고 성능을 기록한다.
• ECSSD 데이터셋에서 SICLE는 750개 초픽셀일 때 평균 실행 시간 0.361초를 기록했으며, OISF(1.182초)를 뛰어나고 SLIC(0.477초)보다도 고초픽셀 수에서 더 빠르다.
• SICLE의 계산 복잡도는 IFT 실행에 기인해 O(|V| log|V|)로 제한되지만, 최대 5회의 반복만 수행되기 때문에 실제로 SLIC보다 더 빠르게 실행된다.
• 시각적 특출남 지도 오류에 강건하다: 낮은 품질의 지도가 주어져도 SICLE는 높은 경계 정확도를 유지하지만, OISF는 잘못된 지도에서 성능이 크게 떨어진다.
• qualitative 비교를 통해 SICLE는 SH, ERS, OISF와 비교해 다양한 객체 유형과 척도에서 일관되고 고성능의 초픽셀 결과를 생성한다.
• 각 반복 단계에서 원하는 초픽셀 수를 설정함으로써 실시간 다중 척도 초픽셀 생성이 가능해지며, 별도의 다중 실행이 필요 없어진다.