[논문 리뷰] Superpixel-based Two-view Deterministic Fitting for Multiple-structure Data

Guobao Xiao, Hanzi Wang외 2명|arXiv (Cornell University)|2016. 07. 20.

Advanced Image and Video Retrieval Techniques참고 문헌 20인용 수 5

한 줄 요약

이 논문은 잡음이 많은 데이터에서 다중 모델 인스턴스를 빠르고 결정적으로 추정할 수 있도록 초분할 기반 특징 외관 사전 지식을 활용하는 새로운 이중시점 기하 모델 피팅 방법인 슈퍼픽셀 기반 결정적 피팅(SDF)을 제안한다. 초분할을 통해 결정적 표본 추출 알고리즘과 새로운 순차적 모델 선택 프레임워크를 안내함으로써, SDF는 단일 및 다중 구조 데이터에서 랜덤화된(RANSAC, PROSAC, T-linkage) 및 결정적(BnB, Astar) 방법보다 최신 기술 수준의 속도와 정확도를 달성한다.

ABSTRACT

This paper proposes a two-view deterministic geometric model fitting method, termed Superpixel-based Deterministic Fitting (SDF), for multiple-structure data. SDF starts from superpixel segmentation, which effectively captures prior information of feature appearances. The feature appearances are beneficial to reduce the computational complexity for deterministic fitting methods. SDF also includes two original elements, i.e., a deterministic sampling algorithm and a novel model selection algorithm. The two algorithms are tightly coupled to boost the performance of SDF in both speed and accuracy. Specifically, the proposed sampling algorithm leverages the grouping cues of superpixels to generate reliable and consistent hypotheses. The proposed model selection algorithm further makes use of desirable properties of the generated hypotheses, to improve the conventional fit-and-remove framework for more efficient and effective performance. The key characteristic of SDF is that it can efficiently and deterministically estimate the parameters of model instances in multi-structure data. Experimental results demonstrate that the proposed SDF shows superiority over several state-of-the-art fitting methods for real images with single-structure and multiple-structure data.

연구 동기 및 목표

• 랜덤화된 강건한 피팅 방법(RANSAC 등)의 한계를 해결하기 위해, 특히 다중 구조 시나리오에서 해가 일관되지 않으며 높은 계산 비용을 유발한다는 점을 해결하고자 한다.
• 기존의 결정적 방법이 특히 적은 내부점과 다중 모델 인스턴스를 포함한 데이터에서 높은 계산 복잡도를 가지는 문제를 해결하고자 한다.
• 특징 외관 사전 지식—특히 슈퍼픽셀 그룹화 신호—을 활용하여 결정적 가설 생성의 효율성과 신뢰성을 향상시키고자 한다.
• 점이 아닌 가설을 순차적으로 제거하는 새로운 모델 선택 알고리즘을 개발하여, 모든 모델 인스턴스를 효율적이고 정확하게 탐지할 수 있도록 하고자 한다.
• 실제 이미지에서 복잡한 구조와 높은 외곽점 비율을 가진 환경에서도 결정적이고 일관되며 고정확도의 이중시점 기하 모델 피팅을 달성하고자 한다.

제안 방법

• 입력 이미지에서 슈퍼픽셀을 생성하여 공간적으로 일관된 특징 외관 사전 지식을 추출하고, 이를 가설 표본 추출을 안내하는 데 사용한다.
• 결정적 표본 추출 알고리즘은 슈퍼픽셀 그룹화와 关键점 매칭 점수를 활용하여 최소한의 나쁜 가설을 생성함으로써 고품질의 가설을 생성한다.
• 이 방법은 기존의 내부점 제거 방식이 아닌, 가설을 반복적으로 제거하는 새로운 피팅-제거 프레임워크를 도입하여 중복 계산을 감소시킨다.
• 모델 선택 알고리즘은 내부점 일관성과 강건성 기반으로 가설을 평가하고 순위를 매겨 모든 모델 인스턴스를 효율적으로 탐지할 수 있도록 한다.
• 이 방법은 호모그래피 및 기본 행렬 추정과 같은 이중시점 문제에 적용되며, 단일 및 다중 구조 데이터를 포함한 실제 이미지 쌍에서 성능을 평가한다.
• 이 방법은 결정적이므로 런타임 간 일관된 결과를 보장하며, 정확도를 희생시키지 않은 채 속도 최적화가 이루어져 있다.

실험 결과

연구 질문

• RQ1 슈퍼픽셀 기반의 그룹화 신호는 결정적 기하 모델 피팅에서 가설 생성의 품질과 일관성 향상에 기여하는가?
• RQ2 특징 외관 사전 지식을 활용한 결정적 표본 추출 전략은 다중 구조 데이터 피팅에서 계산 비용을 줄이면서도 높은 정확도를 유지할 수 있는가?
• RQ3 새로운 순차적 가설 제거 모델 선택 프레임워크는 기존의 피팅-제거 방법보다 효율성과 효과성 면에서 뛰어나지 않는가?
• RQ4 제안된 SDF 방법은 실제 다중 구조 데이터에서 랜덤화된(RANSAC, PROSAC, T-linkage) 및 결정적(BnB, Astar) 방법과 비교해 속도, 정확도, 일관성 면에서 어떻게 성능을 내는가?
• RQ5 슈퍼픽셀에서 유도된 특징 외관 사전 지식은 내부점 비율이 낮은 상황에서 결정적 피팅의 성능 향상에 얼마나 기여하는가?

주요 결과

• SDF는 평가된 모든 접근 방식 중에서 가장 빠른 메서드로, 호모그래피 추정에서는 RANSAC보다 1.58~80.14배 빠르며, 기본 행렬 추정에서는 32.08~52.37배 더 빠르다.
• 낮은 내부점 비율을 가진 'MC3' 데이터셋에서 SDF는 가장 낮은 샤프먼 오차(0.07)를 기록했고, T-linkage는 시간 제한 내에 수렴하지 못해 769.70배 더 빠르게 작동했다.
• SDF는 모든 다섯 개인 기본 행렬 추정 데이터셋에서 가장 낮은 샤프먼 오차를 기록했으며, RANSAC, PROSAC, T-linkage보다 정확도와 속도 면에서 뛰어났다.
• SDF는 결정적 성격 덕분에 반복 실행 간 일관된 결과를 보였고, RANSAC 및 PROSAC와 같은 랜덤화된 방법과 달리 해의 변동성이 없었다.
• 호모그래피 추정에서 SDF는 PROSAC보다 3.2~300배 빠르고, T-linkage보다 1.5~2개의 지수 차수 더 빠르게 작동했으며, 정확도는 유지하거나 향상시켰다.
• 제안된 방법은 반복적 재표본 추출 없이도 다중 구조 데이터에서 모든 모델 인스턴스를 성공적으로 탐지하여, 모델 선택 단계에서 뛰어난 효율성을 입증했다.