[논문 리뷰] Negative Frames Matter in Egocentric Visual Query 2D Localization

Mengmeng Xu, Cheng-Yang Fu외 4명|arXiv (Cornell University)|2022. 08. 03.

Advanced Image and Video Retrieval Techniques인용 수 4

한 줄 요약

이 논문은 음성 중심 시각 질의 2D 위치 지정을 위한 더 빠르고 정확한 솔루션을 제안하며, 학습 효율성을 최적화하고 부정적 프레임 학습을 통해 가짜 양성 결과를 감소시킨다. 학습 시간을 15일에서 24시간 이내로 단축하고 검출기 학습에 부정적 프레임을 통합함으로써, 공간-시간 AP가 0.17%로 기존 기준 대비 31% 향상되어 Ego4D 공개 랭킹에서 1위를 기록한다.

ABSTRACT

The recently released Ego4D dataset and benchmark significantly scales and diversifies the first-person visual perception data. In Ego4D, the Visual Queries 2D Localization task aims to retrieve objects appeared in the past from the recording in the first-person view. This task requires a system to spatially and temporally localize the most recent appearance of a given object query, where query is registered by a single tight visual crop of the object in a different scene. Our study is based on the three-stage baseline introduced in the Episodic Memory benchmark. The baseline solves the problem by detection and tracking: detect the similar objects in all the frames, then run a tracker from the most confident detection result. In the VQ2D challenge, we identified two limitations of the current baseline. (1) The training configuration has redundant computation. Although the training set has millions of instances, most of them are repetitive and the number of unique object is only around 14.6k. The repeated gradient computation of the same object lead to an inefficient training; (2) The false positive rate is high on background frames. This is due to the distribution gap between training and evaluation. During training, the model is only able to see the clean, stable, and labeled frames, but the egocentric videos also have noisy, blurry, or unlabeled background frames. To this end, we developed a more efficient and effective solution. Concretely, we bring the training loop from ~15 days to less than 24 hours, and we achieve 0.17% spatial-temporal AP, which is 31% higher than the baseline. Our solution got the first ranking on the public leaderboard. Our code is publicly available at https://github.com/facebookresearch/vq2d_cvpr.

연구 동기 및 목표

• 음성 중심 시각 질의 2D 위치 지정의 학습 및 평가 효율성 문제를 해결하기 위해.
• 배경 및 부정적 프레임에서 높은 가짜 양성 결과 비율이 발생하여 최종 검색 성능이 떨어지는 문제를 줄이기 위해.
• 사전 훈련 모델(예: COCO)과 음성 중심 영상 데이터(Ego4D) 사이의 분포 격차를 해소하기 위해.
• 흐린, 초점이 흐린, 또는 모호한 프레임에서의 모델 강인성을 높이기 위해 부정적 예제를 명시적으로 학습함으로써.
• 코드 재구조화 및 병렬 처리를 통해 연구 사이클을 가속화하여 더 빠른 실험을 가능하게 하기 위해.

제안 방법

• 원래의 15일 분량 학습 루프를 재구성하고 병렬 처리된 학습 및 평가 파이프라인으로 대체하여 학습 시간을 24시간 이내로 단축시켰다.
• 질의 객체가 포함되지 않은 부정적 프레임을 포함하는 새로운 학습 전략을 도입하였으며, 이는 진짜 좌표와의 IoU < 0.5 또는 응답 트랙 외부 프레임으로 정의된다.
• 하드-부정적 샘플링을 적용하여 손실가장 높은 상위-K 부정적 제안을 선택하고, 양성 대비 부정성 비율을 1:64로 유지하였다.
• COCO 사전 훈련에서의 도메인 이탈을 줄이기 위해 Ego4D 데이터로 시각 백본을 미세조정하였다.
• 질의 영역과 영상 프레임을 비교하기 위해 이중 분지 특징 추출기와 함께 시아미즈 ROI 헤드를 사용하였다.
• 피크 검출 프레임에서 정방향 및 역방향 시간 방향으로 추적기 기반 응답 트랙 생성을 수행하였다.

실험 결과

연구 질문

• RQ1 음성 중심 시각 질의 2D 위치 지정에서 학습 및 평가 효율성을 어떻게 크게 향상시킬 수 있는가?
• RQ2 왜 부정적 프레임에서 가짜 양성 결과가 발생하는가? 그리고 이를 검출 중에 어떻게 완화할 수 있는가?
• RQ3 학습에 부정적 프레임을 포함시키면 탐지 강인성과 최종 검색 성능가 얼마나 향상되는가?
• RQ4 Ego4D 데이터로 백본을 미세조정하면 COCO 사전 훈련에서의 도메인 격차가 어떻게 감소하는가?
• RQ5 가짜 양성 오류가 최종 stAP 지표에 어떤 영향을 미치며, 이를 어떻게 정량적으로 분석할 수 있는가?

주요 결과

• 제안된 방법은 학습 시간을 3600시간에서 24시간 이내로 단축하여 1500%의 속도 향상을 달성하였다.
• 평가 시간은 400시간에서 12시간으로 줄어들어 3200% 향상되었다.
• 부정적 프레임을 포함한 학습은 양성 및 부정적 프레임 모두에 대해 프레임 수준의 AP를 25.95에서 31.98로 향상시켰다.
• 테스트 세트에서 공간-시간 AP가 0.17%로 기준의 0.13%보다 31% 향상되어 성과를 달성하였다.
• 검증 세트에서 stAP25 기준으로 최신 기술을 0.02 이상 초월하였고, 성공률 3.8%, 복구 비율 4.1% 향상되었다.
• 오류 분석 결과 주요 가짜 양성 유형은 유사한 외관, 모호한 질의, 흐린 프레임였으며, 각각 부정적 프레임 학습으로 완화되었다.