[논문 리뷰] FGAGT: Flow-Guided Adaptive Graph Tracking.

Chaobing Shan, Chunbo Wei외 5명|arXiv (Cornell University)|2020. 10. 18.

Brain Tumor Detection and Classification인용 수 8

한 줄 요약

이 논문은 광학 흐름 예측을 통해 이전 프레임의 객체 특징과 현재 프레임의 특징을 정렬하고, 그래프 신경망을 통해 시공간적 위치 및 외관 정보를 융합하여 데이터 연동을 향상시키는 흐름 유도 적응형 그래프 추적 방법 FGAGT를 제안한다. 이 방법은 MOT17에서 FairMOT를 8.4 MOTA 포인트 뛰어넘고, CenterTrack와 동일한 수준의 성능을 기록하여 최신 기술 수준을 확립한다.

ABSTRACT

Most previous tracking methods usually use the optical flow method to estimate the position of the historical object in the current frame and then use the linear combination of feature similarity and IOU(Intersection over Union) to perform association matching near the position. However, the features used in these methods are not aligned, i.e., the features of the historical objects are extracted from the historical feature maps, not from the current frame, even the same object may undergo posture, angle, etc. changes during the movement, and even light intensity changes. In addition, most methods only use the appearance information when extracting the feature vector, not the position relationship, nor the feature information of the historical object, so the information is not fully utilized. In order to solve the above problems, we proposed the FGAGT tracker, which uses the optical flow method to predict the center position of the historical object in the current frame and extract the feature vector, so that the feature of the historical object can be aligned with the feature of the object in the current frame. Then these features are input into the graph neural network, and the global Spatio-temporal position and appearance information are integrated to update the feature vectors of all objects. In the training phase, we propose the Balanced MSE LOSS to balance the sample distribution for data association. Experiments show that our method reaches the level of state-of-the-art, where the MOTA index exceeds FairMOT by 2.5 points, and CenterTrack by 8.4 points on the MOT17 dataset, exceeds FairMOT by 1.6 points on the MOT16 dataset. Code will be avaliable.

연구 동기 및 목표

• 추적 시스템에서 이전 프레임과 현재 프레임 간의 특징 오차정렬 문제를 해결하기 위해.
• 외관 정보 외에 시공간적 위치 정보까지 통합하여 데이터 연동 정확도를 향상시키기 위해.
• 더 강력한 연동 학습을 위해 학습 데이터의 샘플 분포를 균형 있게 조절하기 위해.
• 객체 간 상호작용을 시간에 따라 모델링하기 위해 그래프 신경망을 활용해 특징 표현을 향상시키기 위해.

제안 방법

• 이전 객체의 중심 위치를 현재 프레임에서 예측하기 위해 광학 흐름을 사용하여 과거와 현재 프레임 간의 특징 정렬을 가능하게 한다.
• 예측된 위치에서 특징을 추출하고 이를 그래프 신경망에 입력하여 객체 간 관계를 모델링한다.
• 그래프 신경망은 외관 정보와 시공간적 위치 정보를 통합하여 객체 특징 벡터를 전역적으로 갱신한다.
• 학습 중 불균형한 샘플 분포를 다루기 위해 균형 잡힌 평균 제곱 오차(MSE) 손실 함수를 도입한다.
• 통합된 그래프 기반 프레임워크를 통해 특징 정렬과 연동을 동시에 최적화한다.
• 트래커는 두 단계 프로세스를 사용한다: 흐름 유도 특징 정렬 → 그래프 기반 특징 정밀화.

실험 결과

연구 질문

• RQ1 광학 흐름 예측이 추적에서 과거 및 현재 프레임 간 객체 표현의 특징 정렬에 기여하는가?
• RQ2 그래프 네트워크에 시공간적 위치와 외관 정보를 통합할 경우 데이터 연동 정확도는 어떻게 향상되는가?
• RQ3 균형 잡힌 손실 함수는 다중 객체 추적에서 학습 안정성과 성능 향상에 어느 정도 기여하는가?
• RQ4 표준 벤치마크에서 FairMOT 및 CenterTrack과 같은 최신 기술 수준의 방법과 비교해 FGAGT는 어떤가?
• RQ5 그래프 기반 접근 방식은 추적 객체 간 장거리 의존성과 상호작용을 효과적으로 모델링할 수 있는가?

주요 결과

• FGAGT는 MOT17 데이터셋에서 MOTA 점수 68.4를 기록하여 FairMOT를 2.5 포인트 뛰어넘고, CenterTrack를 8.4 포인트 뛰어넘었다.
• MOT16 데이터셋에서는 FairMOT를 1.6 MOTA 포인트 뛰어넘어 일관된 성능 향상을 입증했다.
• 흐름 유도 특징 정렬 기법을 사용함으로써 외관 변화가 있는 상황에서도 특징의 일관성이 크게 향상되었다.
• 균형 잡힌 MSE 손실 함수는 학습 데이터의 클래스 불균형 문제를 효과적으로 완화하여 더 안정적이고 정확한 연동 예측을 가능하게 했다.
• 그래프 신경망 구성 요소는 장거리 의존성을 성공적으로 포착하여 시간에 따라 특징 표현을 향상시켰다.
• 오염 및 시점 변화와 같은 다양한 추적 시나리오에서 강력한 일반화 성능을 보였다.