[논문 리뷰] Geometric Hypergraph Learning for Visual Tracking

Dawei Du, Honggang Qi외 4명|arXiv (Cornell University)|2016. 03. 18.

Video Surveillance and Tracking Methods참고 문헌 40인용 수 4

한 줄 요약

이 논문은 목표물과 후보 부위 간 다중 대응 가설 간의 고차원 기하 관계를 모델링하는 기하 하이퍼그래프 학습 프레임워크를 제안하여 변형과 가림에 대한 강건성을 향상시킨다. 신뢰도 인식 하이퍼그래프 상의 모드 탐색으로 추적 문제를 공식화함으로써, VOT2014 및 Deform-SOT 벤치마크에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Graph based representation is widely used in visual tracking field by finding correct correspondences between target parts in consecutive frames. However, most graph based trackers consider pairwise geometric relations between local parts. They do not make full use of the target's intrinsic structure, thereby making the representation easily disturbed by errors in pairwise affinities when large deformation and occlusion occur. In this paper, we propose a geometric hypergraph learning based tracking method, which fully exploits high-order geometric relations among multiple correspondences of parts in consecutive frames. Then visual tracking is formulated as the mode-seeking problem on the hypergraph in which vertices represent correspondence hypotheses and hyperedges describe high-order geometric relations. Besides, a confidence-aware sampling method is developed to select representative vertices and hyperedges to construct the geometric hypergraph for more robustness and scalability. The experiments are carried out on two challenging datasets (VOT2014 and Deform-SOT) to demonstrate that the proposed method performs favorable against other existing trackers.

연구 동기 및 목표

• 큰 변형과 가림 상황에서 오차 전파에 취약한 쌍별 기하 모델링의 한계를 해결한다.
• 다중 대응 가설 간 고차원 기하 구조를 활용하여 분류 능력과 강건성을 향상시킨다.
• 대규모 추적을 위한 신뢰도 인식 샘플링을 통한 확장 가능하고 노이즈에 강건한 하이퍼그래프 구축 방법을 개발한다.
• 기하 하이퍼그래프 상의 모드 탐색 문제로 시각 추적을 공식화하여 구조적으로 일관되고 높은 신뢰도를 가진 대응 그룹을 식별한다.
• 변형, 가림, 외관 변화가 심한 도전적인 벤치마크에서 뛰어난 성능을 입증한다.

제안 방법

• 이전 프레임의 목표물 부위와 현재 프레임의 후보 부위 간 대응 가설을 정점으로 하는 기하 하이퍼그래프를 구축한다.
• 다중 대응 가설 간 고차원 기하 관계를 하이퍼엣지로 정의하여, 부위 간 일관된 공간 구성(예: 삼각형의 각도)을 인코딩한다.
• 대부분의 정점과 하이퍼엣지를 대표적으로 선택하여 계산 비용을 줄이고 노이즈에 대한 강건성을 향상시키기 위해 신뢰도 인식 샘플링 전략을 도입한다.
• 하이퍼그래프 상에서 모드 탐색 문제로 추적을 공식화하고, 쌍별 좌표 업데이트를 사용하여 최대 신뢰도를 가진 구조적 대응 모드를 탐색한다.
• 스케일 변화에 대응하기 위해 삼각형 기반 유사도 측정에서 각도 불변성을 활용하여 외관 변화에 대한 강건성을 향상시킨다.
• 하이퍼그래프 구조를 활용하여 목표물 부위 간의 내부 기하 일관성과 배경 부위와의 맥락적 관계를 동시에 모델링한다.

실험 결과

연구 질문

• RQ1 쌍별 모델 대비 다중 대응 가설 간 고차원 기하 관계가 큰 변형과 가림 상황에서 추적의 강건성을 향상시키는가?
• RQ2 정확성과 확장성의 균형을 고려할 때 기하 하이퍼그래프는 어떻게 효율적으로 구축하고 최적화할 수 있는가?
• RQ3 신뢰도 인식 샘플링은 노이즈 있는 대응에 대한 민감도를 얼마나 줄이며 핵심 구조 정보를 유지하는가?
• RQ4 하이퍼그래프 상의 모드 탐색 과정이 정확한 목표물 국소화를 위해 가장 일관되고 신뢰도 높은 대응 그룹을 효과적으로 식별할 수 있는가?
• RQ5 변형, 가림, 조명 변화가 심한 벤치마크에서 제안된 방법은 최신 기술 수준의 추적기와 비교해 어떻게 성능을 내는가?

주요 결과

• 제안된 기하 하이퍼그래프 추적기(GGT)는 Deform-SOT 데이터셋에서 가장 높은 성공 점수와 두 번째로 높은 정밀도 점수를 기록하여 기존 방법들을 능가한다.
• VOT2014 데이터셋에서 GGT는 큰 변형과 부분적 가림이 있는 시퀀스 처리에서 유리한 성능을 보였다.
• 갑작스러운 운동, 자세 변화, 회전 상황에서도 정확한 추적을 유지하며, SCM 및 TCP와 같은 방법들은 드리프트로 인해 실패한다.
• 하이퍼엣지에서 각도 불변 유사도 측정을 사용함으로써 스케일 변화에 대한 강건성이 향상되었으며, 쌍별 관계에만 의존하는 DGT를 능가한다.
• 신뢰도 인식 샘플링 방법은 하이퍼그래프 크기와 계산 부담을 효과적으로 줄이며 핵심 구조 정보를 유지하여 확장성을 향상시킨다.
• 배경 혼잡 상황(예: 축구 시퀀스)에서도 구조적 일관성과 맥락적 관계를 모델링함으로써 정확한 추적을 성공적으로 수행하며, 갈림길로의 드리프트를 방지한다.