[논문 리뷰] Multiple Human Tracking using Multi-Cues including Primitive Action Features

Hitoshi Nishimura, Kazuyuki Tasaka외 2명|arXiv (Cornell University)|2019. 09. 18.

Video Surveillance and Tracking Methods참고 문헌 26인용 수 4

한 줄 요약

이 논문은 동적 공중 영상에서 추적 정확도를 향상시키기 위해 외형 및 운동 정보와 함께 원시 행동 특징(Primitive Action Features, PAF)을 통합한 다중 인체 추적 방법인 MHT-PAF를 제안한다. PAF는 전역적 맥락, 다중 레이블 행동 의미론 및 중위 특징을 포괄하여 ID 전환과 거짓 긍정을 감소시키며, Okutama-Action 데이터셋에서 기준 방법 대비 2.23의 MOTA 향상을 달성한다.

ABSTRACT

In this paper, we propose a Multiple Human Tracking method using multi-cues including Primitive Action Features (MHT-PAF). MHT-PAF can perform the accurate human tracking in dynamic aerial videos captured by a drone. PAF employs a global context, rich information by multi-label actions, and a middle level feature. The accurate human tracking result using PAF helps multi-frame-based action recognition. In the experiments, we verified the effectiveness of the proposed method using the Okutama-Action dataset. Our code is available online.

연구 동기 및 목표

• 크기 변화, 종횡비 변화, 카메라 운동으로 인해 발생하는 동적 공중 영상에서의 다중 인체 추적 정확도 저하 문제를 해결한다.
• 데이터 연동에 행동 정보를 통합하여 드론 촬영 영상에서 흔히 발생하는 거짓 긍정과 ID 전환 문제를 줄인다.
• 원시 행동 특징을 활용해 인간 추적 정확도를 향상시켜 다중 프레임 기반 행동 인식을 개선한다.
• 전역적 맥락과 다중 레이블 레이블링을 갖춘 중위 행동 특징이 전통적인 외형 및 위치 정보 중심의 특징보다 우수한 성능을 보임을 입증한다.

제안 방법

• 외형, 운동, 원시 행동 특징(PAF)을 결합한 다중 측면 추적 프레임워크를 제안하여 데이터 연동을 수행한다.
• 전역적 크롭드 이미지를 사용해 공간적 맥락을 확보함으로써 인간-물체 및 인간-인간 상호작용을 인식할 수 있도록 PAF를 설계한다.
• 단일 레이블 인식보다 더 풍부한 행동 정보를 추출하기 위해 다중 레이블 행동 주석을 활용한다.
• 최종 행동 클래스가 아닌 중위 특징 표현 방식을 사용하여 행동 검출의 프레임 수준의 모호성을 줄인다.
• RGB 및 옵티컬 플로우 특징을 후기 융합 전략으로 조합하여 PAF를 추적-검출 파이프라인에 통합한다.
• 비용 흐름 최소화 기반 추적 프레임워크를 적용하여 가림 및 운동에 대한 강건성을 향상시킨다.

실험 결과

연구 질문

• RQ1 고역동 범위와 카메라 운동이 있는 공중 영상에서 원시 행동 특징(PAF)이 추적 정확도 향상에 기여하는가?
• RQ2 PAF에 전역적 맥락과 다중 레이블 행동 정보를 통합할 경우 데이터 연동 성능에 어떤 영향을 미치는가?
• RQ3 외형 및 위치 정보 중심의 기준 방법 대비 PAF가 ID 전환과 거짓 긍정을 얼마나 줄이는가?
• RQ4 향상된 인간 추적 정확도가 다중 프레임 기반 행동 검출 성능 향상에 측정 가능한 기여를 하는가?
• RQ5 추적 성능 향상 조건에서 국소/전역, 단일/다중 프레임 특징 조합 중 최적의 조합은 무엇인가?

주요 결과

• MHT-PAF는 MCF 기준 방법 대비 2.23 MOTA 향상을 기록하여 뚜렷한 추적 정확도 향상을 입증했다(MOTA: 22.94 대비 20.45).
• ID 전환 수가 110건 감소(1875에서 1833으로), 정밀도는 2.51 포인트 향상되었으며 재현율은 유지되었다.
• PAF 통합으로 인한 추적 품질 향상으로 인해 행동 검출 mAP가 0.57 포인트 향상되었다(11.97에서 12.54로).
• 다중 프레임 기반 행동 인식과 국소+전역 크롭드 이미지 조합이 가장 높은 행동 인식 정확도(47.80)를 달성했다.
• PAF에서 전역적 맥락을 사용할 경우 상호작용 기반 행동(예: 들고 다니기, 밀고 다니기)의 정확도가 국소 특징 대비 3.06 포인트 향상되었다(42.88에서 45.94로).
• 국소 이미지 기반에서 다중 프레임 기반 인식은 단일 프레임 인식 대비 2.21 포인트 향상되었고(45.09 대비 42.88), 국소+전역 이미지 기반에서는 1.86 포인트 향상되었다(47.80 대비 45.94).