[논문 리뷰] Tracking Objects with Higher Order Interactions using Delayed Column Generation

Shaofei Wang, Steffen Wolf외 2명|arXiv (Cornell University)|2015. 12. 08.

Robotic Path Planning Algorithms참고 문헌 24인용 수 6

한 줄 요약

이 논문은 동적 프로그래밍을 사용하여 가격 문제를 해결하고 지연된 제약 조건 생성을 통해 경계를 강화함으로써 고차 상호작용을 고려한 다중 타겟 추적을 위한 새로운 열과 행 생성 방법을 제안한다. 이는 이전 방법보다 더 날카운 경계를 갖춘 이완된 최대 무게 집합 패킹 공식을 해결하여 자연 및 생물 영상 벤치마크에서 뛰어난 추적 정확도와 효율성을 달성한다.

ABSTRACT

We study the problem of multi-target tracking and data association in video. We formulate this in terms of selecting a subset of high-quality tracks subject to the constraint that no pair of selected tracks is associated with a common detection (of an object). This objective is equivalent to the classic NP-hard problem of finding a maximum-weight set packing (MWSP) where tracks correspond to sets and is made further difficult since the number of candidate tracks grows exponentially in the number of detections. We present a relaxation of this combinatorial problem that uses a column generation formulation where the pricing problem is solved via dynamic programming to efficiently explore the space of tracks. We employ row generation to tighten the bound in such a way as to preserve efficient inference in the pricing problem. We show the practical utility of this algorithm for tracking problems in natural and biological video datasets.

연구 동기 및 목표

• 영상에서 고차 상호작용을 고려한 다중 타겟 추적의 NP-난이도 문제를 해결하기 위해, 표준 방법이 조합 폭발과 공동 역학 모델링의 제한으로 어려움을 겪는 문제를 다루는 것.
• 기존의 라그랑주 이완 및 최소비용 유량 접근법을 개선하기 위해, 하위트랙을 통해 더 풍부한 트랙 비용 모델링을 가능하게 하면서도 계산 가능성을 유지하는 것.
• 열과 행 생성 기법을 통합하여 최대 무게 집합 패킹 공식의 이완을 더 견고하게 만들기 위해 목표.
• 가격 하위문제에서 효율적인 추론을 유지하면서도 동적으로 추가된 제약 조건을 통해 점진적으로 이중 경계를 강화하는 것.
• 실제 추적 벤치마크, 특히 보행자 및 생물 영상 시퀀스에서 실용적 효과를 입증하는 것.

제안 방법

• 다중 타겟 추적을 최대 무게 집합 패킹 문제로 공식화하며, 트랙은 검출 결과의 집합이고 상호배타성은 제약 조건을 통해 강제한다.
• 추적 문제에 대한 라그랑주 이완을 도입하여 목적함수를 검출 및 제약 위반에 대한 이중 변수를 포함하는 이중 함수로 분해한다.
• 하위트랙에 대한 동적 프로그래밍을 통해 반복적으로 고품질 트랙을 생성함으로써 가격 하위문제를 효율적으로 해결하는 열 생성 기법을 사용한다.
• 겹치는 트랙으로부터 유도된 위반 제약 조건(예: 중복 트랙)을 행 생성을 통해 추가하여 이중 경계를 강화함으로써 이완의 정밀도를 높이되, 가격 효율성은 유지한다.
• 가격 문제를 동적 프로그래밍으로 해결하고, 서브그래디언트 최적화를 통해 이중 변수를 갱신하는 것을 반복한다.
• 더 이상 위반 제약 조건이나 개선 가능한 열이 발견되지 않을 때 최종 해를 확보하며, 이는 날카운 경계와 고품질 정수 해를 제공한다.

실험 결과

연구 질문

• RQ1 가격 문제의 효율성을 유지하면서도 행 생성을 통한 경계 강화를 가능하게 하는 열 생성 프레임워크는 다중 타겟 추적에서 이중 경계를 더욱 강화할 수 있는가?
• RQ2 과도한 계산 비용 없이도 검출 간 고차 상호작용을 효과적으로 모델링할 수 있는 방법은 무엇인가?
• RQ3 기존의 이완 방법과 비교해 볼 때, 가격 하위문제에 동적 프로그래밍을 통합함으로써 해 품질과 수렴 속도는 어느 정도 향상되는가?
• RQ4 제안된 방법은 다양한 영상 데이터셋에서 기존의 최소비용 유량 및 라그랑주 이완 접근법보다 추적 정확도와 런타임 측면에서 뛰어나게 성능을 발휘할 수 있는가?
• RQ5 지연된 열 생성과 행 생성의 조합은 표준 라그랑주 이완보다 최대 무게 집합 패킹 공식에서 더 날카운 이완을 제공하는가?

주요 결과

• 제안된 방법은 보행자 및 생물 영상 데이터셋에서 기존 방법보다 뛰어난 정확도와 강건성을 보이며 최신 기술 수준의 추적 성능을 달성한다.
• 지연된 열과 행 생성을 통합함으로써 이중 경계가 이전의 라그랑주 이완 방법보다 더 날카워지며, 이중 갭이 감소한다.
• 동적 프로그래밍 기반의 가격 하위문제가 고품질 트랙을 효율적으로 탐색함으로써 후보 수가 지수적으로 증가하더라도 확장 가능한 추론이 가능하다.
• 행 제약 조건을 추가한 후에도 가격 문제의 구조를 유지함으로써 계산 효율성이 유지된다.
• 실험 결과에 따르면 알고리즘이 매우 빠르게 수렴하며, 최적의 이완 해에 근접한 낮은 갭을 가진 고품질 정수 해를 생성한다.
• 하위트랙 기반의 점수 계산을 통해 고차 역학을 성공적으로 모델링하여 1차 모델보다 더 나은 궤적 피팅 성능을 달성한다.