[논문 리뷰] On The Stability of Video Detection and Tracking

Hong Zhang, Naiyan Wang|arXiv (Cornell University)|2016. 11. 20.

Video Surveillance and Tracking Methods참고 문헌 41인용 수 18

한 줄 요약

이 논문은 영상 검출에서 안정성(안정성은 조각 오차, 중심 위치 오차, 척도/비율 오차 포함)을 정량화하는 새로운 궤적 중심 평가 지표를 제안한다. 이는 정확도(mAP)와 함께 평가된다. 안정성과 정확도 사이에 낮은 상관관계가 있음을 입증하며, 이는 두 요소 간의 상충 관계를 드러내며, 기존 방법들을 평가함으로써 한 요소의 향상이 다른 요소의 향상으로 이어지지 않음을 보여주며, 향후 연구에서 이중 평가의 필요성을 주장한다.

ABSTRACT

In this paper, we study an important yet less explored aspect in video detection and tracking -- stability. Surprisingly, there is no prior work that tried to study it. As a result, we start our work by proposing a novel evaluation metric for video detection which considers both stability and accuracy. For accuracy, we extend the existing accuracy metric mean Average Precision (mAP). For stability, we decompose it into three terms: fragment error, center position error, scale and ratio error. Each error represents one aspect of stability. Furthermore, we demonstrate that the stability metric has low correlation with accuracy metric. Thus, it indeed captures a different perspective of quality. Lastly, based on this metric, we evaluate several existing methods for video detection and show how they affect accuracy and stability. We believe our work can provide guidance and solid baselines for future researches in the related areas.

연구 동기 및 목표

• 기존 벤치마크에서 간과된 영상 검출의 안정성 평가 부족 문제를 규명하고 해결하기 위해.
• 조각, 중심 위치, 척도/비율 오차를 통해 안정성을 정량화하는 새로운 궤적 기반 평가 지표를 제안하기 위해.
• 정확도와 안정성이 별개의, 상관관계가 낮은 지표임을 경험적으로 입증하여, 평가에서 이 둘을 모두 고려할 필요성을 정당화하기 위해.
• 기존 영상 검출 방법들을 새로운 안정성 지표 기준으로 평가하여, 정확도와 안정성 간의 상충관계를 드러내기 위해.
• 안정성의 중요성을 강조하고 기초 데이터셋을 제공함으로써 향후 연구에 기초를 마련하기 위해(예: ADAS와 같은 실용적 응용 분야에서 중요함)

제안 방법

• 세 가지 차원(조각 오차(시간 연속성), 중심 위치 오차(공간 일관성), 척도/비율 오차(크기 안정성))에서 안정성을 평가하는 궤적 중심 평가 프레임워크를 제안한다.
• 정확도를 위해 평균 평균 정밀도(mAP)를 확장하고, 검출된 궤적을 기반으로 세 가지 새로운 안정성 지표를 도입한다.
• 정확한 궤적 수준 평가를 위해 진짜 객체 연관 정보를 활용해 프레임 간 검출 결과를 정렬하고 안정성 지표를 계산한다.
• 여러 데이터셋(MOT 및 KITTI)과 방법(Faster R-CNN, ACF 등)에서 안정성 지표와 mAP 간의 상관관계를 분석하기 위해 피어슨 상관계수를 사용한다.
• 다양한 NMS 및 후처리 방법에 대해 mAUC 값의 산점도를 시각화하여 정확도와 안정성 간의 상충관계를 분석한다.
• 비최대 억제(NMS), 가중치 NMS, 운동 필터링(MF), 운동 유도 제안(MGP) 등의 다양한 방법을 평가하여, 각 방법이 정확도와 안정성에 미치는 영향을 분석한다.

실험 결과

연구 질문

• RQ1 영상 검출의 안정성은 정확도를 초월해 어떻게 공식적으로 정의하고 정량화할 수 있는가?
• RQ2 영상 검출 궤적에서 안정성의 주요 원인은 무엇인가?
• RQ3 영상 검출에서 기존의 정확도 지표(mAP 등)와 안정성은 얼마나 상관관계가 있는가?
• RQ4 기존 영상 검출 방법들은 정확도와 안정성 간에 상충관계를 보이는가?
• RQ5 영상 검출에서 안정성은 효과적으로 측정되고, 방법 선택이나 모델 설계에 활용될 수 있는가?

주요 결과

• 제안된 안정성 지표는 mAP와 낮은 상관관계를 보이며, 이는 안정성이 영상 검출 품질의 별개이자 중복되지 않는 측면을 캐치하고 있음을 시사한다.
• 조각 오차, 중심 위치 오차, 척도/비율 오차는 모두 의미 있는 안정성 구성 요소이며, 중심 위치 오차와 척도/비율 오차는 상호 간에 높은 상관관계를 보인다.
• 가중치 NMS는 정확도와 안정성 양쪽을 향상시키지만, MF는 주로 안정성 향상에 기여하고 MGP는 주로 정확도 향상에 기여함으로써 명확한 상충관계가 드러난다.
• MOT 및 KITTI 데이터셋 양쪽에서 단일 방법이 정확도와 안정성 양쪽에서 우월하지는 않으며, 이는 상충관계의 존재를 확인한다.
• 경험적 결과는 안정성이 영상 검출 평가에서 이전에 간과되었지만 중요한 차원임을 입증하며, 특히 ADAS와 같은 안전 중심 응용 분야에서 중요함을 강조한다.
• 본 연구는 새로운 평가 프로토콜과 정확도 및 안정성 양측을 고려한 기초 데이터셋을 제공함으로써 향후 연구에 기초를 마련한다.