[논문 리뷰] Learning Non-Uniform Hypergraph for Multi-Object Tracking

Longyin Wen, Dawei Du외 3명|arXiv (Cornell University)|2018. 12. 10.

Video Surveillance and Tracking Methods참고 문헌 23인용 수 9

한 줄 요약

이 논문은 트랙렛 간의 변수 순서 의존성을 모델링하기 위해 비균일한 하이퍼그래프를 사용하는 near-online 다객체 추적(MOT) 방법을 제안한다. 구조적 서포트 벡터 머신(Structural SVM)을 통해 하이퍼엣지 가중치를 학습하여 적응형 모델링을 구현하며, 하이퍼그래프 내에서 조밀한 구조를 효율적으로 탐색함으로써 강력한 궤적을 형성한다. 이 방법은 PETS09, ParkingLot, SubwayFace, MOT16 벤치마크에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

The majority of Multi-Object Tracking (MOT) algorithms based on the tracking-by-detection scheme do not use higher order dependencies among objects or tracklets, which makes them less effective in handling complex scenarios. In this work, we present a new near-online MOT algorithm based on non-uniform hypergraph, which can model different degrees of dependencies among tracklets in a unified objective. The nodes in the hypergraph correspond to the tracklets and the hyperedges with different degrees encode various kinds of dependencies among them. Specifically, instead of setting the weights of hyperedges with different degrees empirically, they are learned automatically using the structural support vector machine algorithm (SSVM). Several experiments are carried out on various challenging datasets (i.e., PETS09, ParkingLot sequence, SubwayFace, and MOT16 benchmark), to demonstrate that our method achieves favorable performance against the state-of-the-art MOT methods.

연구 동기 및 목표

• 장애물에 의한 가림이나 혼잡한 환경에서 트랙렛 간의 복잡한 고차원 의존성을 모델링하는 데 있어 기존 MOT 방법의 한계를 해결하기 위해.
• 고정 차수의 하이퍼그래프의 경직성을 해결하기 위해 다양한 차수의 하이퍼엣지를 허용하여 다양한 의존성 패턴을 포착할 수 있도록 하기 위해.
• 정확도와 계산 효율성의 균형을 맞추는 효율적인 near-online 추적 프레임워크를 개발하기 위해.
• 수작업적으로 설정하는 대신 데이터에서 자동으로 하이퍼엣지 가중치를 학습하기 위해.
• 결함 탐지 및 외관 혼동과 같은 도전적인 상황에서 추적의 강건성을 향상시키기 위해.

제안 방법

• 트랙렛을 비균일한 하이퍼그래프의 노드로 모델링하며, 다양한 차수의 하이퍼엣지는 다객체 의존성을 인코딩한다.
• 학습 데이터로부터 다양한 차수의 하이퍼엣지 가중치를 자동으로 학습하기 위해 구조적 서포트 벡터 머신(SSVM)을 사용한다.
• 궤적 형성에 대한 비균일한 하이퍼그래프에서 조밀한 구조 탐색 문제를 효율적으로 해결하기 위한 근사 알고리즘을 제안한다.
• near-online 전략을 적용한다: 일정 시간 창의 프레임을 처리하여 짧은 트랙렛을 생성한 후, 이를 연결하여 완전한 궤적을 형성한다.
• 검출 표현을 위해 최적화된 GoogLeNet 기반의 세트 간 인식 모델에서 유도된 CNN 특징을 통합한다.
• 변수 갱신에 대한 제약 조건을 포함한 목적 함수 최적화를 위해 이차계획법 제약 조건을 적용한다.

실험 결과

연구 질문

• RQ1 비균일한 하이퍼그래프 모델은 복잡한 추적 환경에서 트랙렛 간의 다양한 의존성 패턴을 효과적으로 포착할 수 있는가?
• RQ2 SSVM을 통해 하이퍼엣지 가중치를 학습하는 것이 고정 또는 수작업 설정된 가중치보다 추적 성능을 향상시키는가?
• RQ3 비균일한 하이퍼그래프에서 조밀한 구조 탐색과 near-online 전략을 결합하면 정확도는 유지하면서도 계산 효율성을 확보할 수 있는가?
• RQ4 장애물과 혼잡함이 있는 벤치마크 데이터셋에서 제안된 방법은 최신 기술 수준의 MOT 접근법보다 우수한가?
• RQ5 이중 이상의 고차원 의존성(이원 이상)을 모델링하면 신원 전환 수를 줄이고 추적의 강건성을 향상시키는 데 어떤 영향을 미치는가?

주요 결과

• 제안된 비균일한 하이퍼그래프 추적기는 PETS09, ParkingLot, SubwayFace, MOT16 벤치마크에서 최신 기술 수준의 성능을 달성한다.
• 고차원 의존성을 모델링함으로써 가림이나 혼잡한 환경에서 신원 전환 수를 크게 줄이고 추적 정확도를 향상시킨다.
• SSVM을 통해 하이퍼엣지 가중치를 학습함으로써 고정 또는 수작업 조정된 설정보다 더 우수한 일반화 능력과 적응성 확보가 가능하다.
• near-online 전략을 통해 지역적 시간 창만을 동시에 처리함으로써 실시간 성능를 유도하면서도 높은 정확도를 유지할 수 있다.
• MOT16 및 다중 보행자 데이터셋에서의 정성적 결과는 심각한 가림 상황에서도 일관되고 강력한 추적 성능을 보여준다.
• 절단 실험을 통해 비균일한 하이퍼그래프 구조와 학습된 가중치가 균일한 하이퍼그래프 및 이원 방법보다 우수한 성능을 내는 것으로 확인되었다.