[논문 리뷰] Learnable Graph Matching: Incorporating Graph Partitioning with Deep Feature Learning for Multiple Object Tracking

Jiawei He, Zehao Huang외 2명|arXiv (Cornell University)|2021. 03. 30.

Video Surveillance and Tracking Methods참고 문헌 72인용 수 12

한 줄 요약

이 논문은 다중 객체 추적을 위한 유연한 그래프 매칭 프레임워크인 GMTracker를 제안한다. 이는 프레임 내 관계와 딥 테처닝을 통합하여, 은폐 상황에서도 뛰어난 성능을 발휘한다. 트랙렛과 검출 결과를 일반적인 그래프로 모델링하고, 암시 함수 정리를 통해 그래프 매칭 문제를 미분 가능한 연속적인 이차계획문제로 연속화함으로써, MOT16 및 MOT17에서 최신 기준 성능을 달성한다. 각각 IDF1 점수는 66.9와 68.7을 기록하며, 은폐 상황에서도 뛰어난 강인성을 확보한다.

ABSTRACT

Data association across frames is at the core of Multiple Object Tracking (MOT) task. This problem is usually solved by a traditional graph-based optimization or directly learned via deep learning. Despite their popularity, we find some points worth studying in current paradigm: 1) Existing methods mostly ignore the context information among tracklets and intra-frame detections, which makes the tracker hard to survive in challenging cases like severe occlusion. 2) The end-to-end association methods solely rely on the data fitting power of deep neural networks, while they hardly utilize the advantage of optimization-based assignment methods. 3) The graph-based optimization methods mostly utilize a separate neural network to extract features, which brings the inconsistency between training and inference. Therefore, in this paper we propose a novel learnable graph matching method to address these issues. Briefly speaking, we model the relationships between tracklets and the intra-frame detections as a general undirected graph. Then the association problem turns into a general graph matching between tracklet graph and detection graph. Furthermore, to make the optimization end-to-end differentiable, we relax the original graph matching into continuous quadratic programming and then incorporate the training of it into a deep graph network with the help of the implicit function theorem. Lastly, our method GMTracker, achieves state-of-the-art performance on several standard MOT datasets. Our code will be available at https://github.com/jiaweihe1996/GMTracker .

연구 동기 및 목표

• 기존의 MOT 방법이 심한 은폐 상황을 다루는 데에 한계가 있음을 해결하기 위해 트랙렛과 검출 결과 간의 프레임 내 관계를 통합한다.
• 엔드 투 엔드 딥 러닝 기반 추적기에서 학습과 추론 간의 일관성 문제를 해결하기 위해 특징 학습과 데이터 할당을 통합한다.
• 최적화 기반의 할당과 딥 러닝 간 격차를 해소하기 위해 그래프 매칭을 연속적 근사화와 암시 함수 정리를 통해 미분 가능하게 만든다.
• 인터-프레임 및 인트라-프레임 관계를 일반적인 그래프 구조로 모델링하여 데이터 할당의 강인성과 정확도를 향상시킨다.
• 미분 가능한 QP 레이어를 통해 특징 추출과 할당을 상호보완적으로 훈련시켜 표준 MOT 벤치마크에서 최신 기준 성능을 달성한다.

제안 방법

• 트랙렛 그래프와 검출 그래프 간의 일반적인 그래프 매칭 문제로 데이터 할당을 모델링한다. 정점은 트랙렛과 검출 결과를 나타내며, 간선은 유사도를 표현한다.
• 이차 간선-간선 유사도를 활용해 프레임 내 관계를 통합함으로써 은폐 상황에서의 강인성을 향상시킨다.
• 이산적인 그래프 매칭 문제를 연속적인 이차계획문제(QP) 공식으로 근사화하여 엔드 투 엔드 백프로파게이션을 가능하게 한다.
• KKT 조건과 암시 함수 정리를 활용해 입력 특징에 대한 기울기를 계산할 수 있는 미분 가능한 QP 레이어를 설계한다.
• 미분 가능한 QP 레이어를 딥 그래프 네트워크에 통합하여 특징 학습과 데이터 할당을 엔드 투 엔드 방식으로 동시에 최적화한다.
• 표준 백프로파게이션을 사용해 전체 네트워크를 엔드 투 엔드로 훈련시켜, 맥락 인식 특징과 최적의 할당을 동시에 학습시킨다.

Figure 1: An illustration of intra-graph relationship used in our graph matching formulation. We utilize the second-order edge-to-edge similarity to model the group activity, which is more robust under heavy occlusion. Note that not all vertices in tracklet graph can be matched to the detection grap

실험 결과

연구 질문

• RQ1 트랙렛과 검출 결과 간의 프레임 내 관계를 모델링하면 심한 은폐 상황에서 다중 객체 추적의 강인성이 향상되는가?
• RQ2 이산적인 그래프 매칭를 어떻게 미분 가능하게 만들 수 있으며, 이를 통해 딥 테처닝과 함께 엔드 투 엔드 훈련이 가능한가?
• RQ3 최적화 기반 할당과 딥 러닝을 통합하면 순수하게 엔드 투 엔드로 학습된 방법보다 추적 정확도가 향상되는가?
• RQ4 장기적 맥락과 그룹 활동 패턴을 통합할 경우 데이터 할당에 어떤 정도의 향상이 이루어지는가?
• RQ5 특징 학습과 할당을 통합한 유일한, 미분 가능한 프레임워크는 표준 벤치마크에서 분리된 접근 방식을 능가하는가?

주요 결과

• GMTracker는 MOT17 테스트 세트에서 최신 기준 IDF1 점수 66.9를 기록하여, 이전의 온라인 방법인 Tracktor++v2(55.1)와 GNNMatch(56.1)를 뛰어넘었다.
• MOT16에서는 IDF1 점수 68.7을 기록하여, 이전 최고 성능 기록인 LifT(65.6)와 MPNTrack(61.7)를 크게 앞서며 성능을 뛰어올랐다.
• HOTA 점수는 MOT17에서 52.0, MOT16에서 55.2로 향상되어 추적 정확도와 강인성 향상이 확인되었다.
• 절단 분석 결과, 이차 간선 유사도를 통한 프레임 내 관계 통합이 MOT17에서 IDF1 점수를 2.1% 향상시켰다.
• 미분 가능한 QP 레이어 덕분에 엔드 투 엔드 훈련이 가능해져 학습과 추론 간 도메인 갭이 감소하고 일반화 능력이 향상되었다.
• 최소한의 추가 파라미터로도 뛰어난 성능을 달성하여 대규모 벤치마크에서 효율성과 확장성을 입증했다.

Figure 2: An example of the derivation from edge affinity matrix $\mathbf{M_{e}}$ to quadratic affinity matrix $\mathbf{M}$ .