[논문 리뷰] A constrained clustering based approach for matching a collection of feature sets

Junchi Yan, Zhe Ren외 2명|arXiv (Cornell University)|2016. 06. 12.

Advanced Image and Video Retrieval Techniques참고 문헌 3인용 수 3

한 줄 요약

이 논문은 유일한 노드 특징만을 사용하여 다중 특징 세트를 매칭하기 위한 제약 조건이 있는 클러스터링 기반 방법을 제안한다. 다른 세트에서 형성된 클러스터에 특징을 반복적으로 할당하면서 중심을 갱신함으로써 성능을 향상시킨다. 교차 세트 일致성과 전역 정보를 상호보완적으로 활용함으로써, 특히 노이즈와 이방성 요소가 존재할 경우 최신 기술 수준을 초월하는 성능을 달성한다.

ABSTRACT

In this paper, we consider the problem of finding the feature correspondences among a collection of feature sets, by using their point-wise unary features. This is a fundamental problem in computer vision and pattern recognition, which also closely relates to other areas such as operational research. Different from two-set matching which can be transformed to a quadratic assignment programming task that is known NP-hard, inclusion of merely unary attributes leads to a linear assignment problem for matching two feature sets. This problem has been well studied and there are effective polynomial global optimum solvers such as the Hungarian method. However, it becomes ill-posed when the unary attributes are (heavily) corrupted. The global optimal correspondence concerning the best score defined by the attribute affinity/cost between the two sets can be distinct to the ground truth correspondence since the score function is biased by noises. To combat this issue, we devise a method for matching a collection of feature sets by synergetically exploring the information across the sets. In general, our method can be perceived from a (constrained) clustering perspective: in each iteration, it assigns the features of one set to the clusters formed by the rest of feature sets, and updates the cluster centers in turn. Results on both synthetic data and real images suggest the efficacy of our method against state-of-the-arts.

연구 동기 및 목표

• 일부 특징 세트의 유일한 특징이 노이즈에 의해 손상되어 표준 쌍별 방법의 성능이 저하되는 상황에서 다중 특징 세트를 매칭하는 데 도전하는 것.
• 쌍별 선형 할당(예: 헝가리안 방법)의 한계를 극복하여 다중 세트 간의 전역 일치성을 활용하지 못하는 문제를 해결하는 것.
• 모든 특징 세트 간의 대응 일치성을 강제로 유지하기 위해 모든 세트에서 정보를 동시에 탐색하는 방법을 개발하는 것.
• 특징을 클러스터에 할당하고 중심을 갱신하는 반복적 클러스터링 프레임워크를 설계하여 매칭 정확도를 향상시키는 것.

제안 방법

• 한 세트의 특징이 나머지 세트에서 형성된 클러스터에 할당되는 제약 조건이 있는 클러스터링 문제로 다중 세트 특징 매칭 문제를 수식화한다.
• 각 반복 단계에서, 다른 모든 세트의 유니온에서 유도된 클러스터에 선택된 세트의 특징을 할당하며, 유일한 특징 유사도 기반의 최근접 이웃 전략을 사용한다.
• 할당된 특징의 중심을 계산하여 중심을 반복적으로 갱신함으로써 반복 과정 동안 클러스터 표현을 정교화한다.
• 일치 기반 기준을 사용하여 동적으로 기준 특징 세트와 갱신 순서를 선택함으로써, 노이즈 또는 이질적인 데이터에 대한 강건성을 향상시킨다.
• 두 가지 변형을 도입한다: matchCluster(기준 세트와 순서를 적응적으로 선택)와 matchCluster_fast(랜덤 선택), 초기화 민감도를 평가하기 위해 사용한다.
• 유일한 특징만을 사용하는 매칭은 쌍별로 선형 할당 문제이지만, 클러스터링을 통해 다중 세트로 확장함으로써 전역 구조를 활용할 수 있음을 활용한다.

실험 결과

연구 질문

• RQ1 손상된 유일한 특징이 존재할 경우, 다중 특징 세트 간의 전역 정보를 효과적으로 활용하여 매칭 정확도를 향상시킬 수 있는가?
• RQ2 노이즈와 이방성 요소가 존재할 경우, 제안된 제약 조건이 있는 클러스터링 프레임워크는 쌍별 헝가리안 방법과 다른 최신 기술 수준의 다중 세트 매칭 접근법보다 어떻게 비교되는가?
• RQ3 기준 특징 세트와 갱신 순서를 적응적으로 선택하는 것이 고정 또는 랜덤 순서보다 성능 향상에 기여하는가?
• RQ4 실세계 영상 시퀀스에서 이 방법은 다중 특징 세트 간의 대응 일치성을 어느 정도 유지하는가?

주요 결과

• 점점 증가하는 노이즈와 이방성 요소가 존재하는 합성 데이터에서, 제안된 방법(matchCluster)은 모든 베이스라인을 압도하며, 특히 고도의 변형과 높은 이방성 비율에서 뛰어난 성능을 보였다.
• 실세계 영상 시퀀스(CMU Hotel 및 Willow-ObjectClass)에서 matchCluster는 최신 기술 수준의 방법과 경쟁력을 유지했으며, 일부 설정에서는 matchOpt를 초월하는 성능을 보였다.
• 적응형 버전(matchCluster)은 빠른 버전(matchCluster_fast)보다 특히 실영상에서 뚜렷이 뛰어나 성능 향상이 초기화 품질에 따라 달라짐을 시사한다.
• 쌍별 헝가리안 방법(Hung_lin)은 교차 세트 정보가 부족하여 성능이 가장 열 劣했으며, 이는 공동 전역 최적화의 이점을 확인시켰다.
• 시각적 결과에서는 matchCluster가 쌍별 헝가리안 매칭보다 잘못된 대응(빨간 선)을 더 적게 생성하고, 올바른 대응(초록 선)을 더 많이 생성하는 것으로 나타났다.
• 이 방법은 노이즈와 이방성 요소에 강건하며, 갈수록 방해 요소가 증가함에 따라 정확도가 점진적으로 감소하는 반면, 베이스라인 방법은 급격히 성능이 저하됨을 보였다.