[논문 리뷰] Action Temporal Localization in Untrimmed Videos via Multi-stage CNNs.

Zheng Shou, Dongang Wang외 1명|arXiv (Cornell University)|2016. 01. 09.

Human Pose and Action Recognition참고 문헌 35인용 수 30

한 줄 요약

이 논문은 제안, 분류, 국지화 단계를 거치는 다단계 3D CNN 프레임워크를 제안하여 트림되지 않은 영상에서 동작의 시간적 국지화를 수행한다. 새로운 오버랩 인식 손실 함수를 사용하며, 0.5 IoU 임계값에서 MEXaction2에서 mAP를 7.4% 향상시키고, THUMOS 2014에서 19.0% 향상시켜 최신 기술 수준을 달성한다.

ABSTRACT

We address action temporal localization in untrimmed long videos. This is important because videos in real applications are usually unconstrained and contain multiple action instances plus video content of background scenes or other activities. To address this challenging issue, we exploit the effectiveness of deep networks in action temporal localization via multi-stage segment-based 3D ConvNets: (1) a proposal stage identifies candidate segments in a long video that may contain actions; (2) a classification stage learns one-vs-all action classification model to serve as initialization for the localization stage; and (3) a localization stage fine-tunes on the model learnt in the classification stage to localize each action instance. We propose a novel loss function for the localization stage to explicitly consider temporal overlap and therefore achieve high temporal localization accuracy. On two large-scale benchmarks, our approach achieves significantly superior performances compared with other state-of-the-art systems: mAP increases from 1.7% to 7.4% on MEXaction2 and increased from 15.0% to 19.0% on THUMOS 2014, when the overlap threshold for evaluation is set to 0.5.

연구 동기 및 목표

• 배경 혼잡과 다중 활동이 존재하는 장시간 트림되지 않은 영상에서 다수의 동작 인스턴스를 국지화하는 과제를 해결한다.
• 자연스럽지 않은 영상 데이터에서 시간적 모호성과 겹치는 동작 세그먼트를 다루는 데에 기존 방법의 한계를 극복한다.
• 학습 중 시간적 겹침을 명시적으로 모델링하여 국지화 정확도를 향상시킨다.
• 진행 단계별로 점진적으로 동작 국지화를 개선하는 확장 가능한 단계별 딥 러닝 파이프라인을 개발한다.
• 동작 시간적 국지화를 위한 대규모 벤치마크에서 최신 기술 수준의 성능을 달성한다.

제안 방법

• 장시간 트림되지 않은 영상에서 3D ConvNets를 사용해 후보 동작 세그먼트를 생성하기 위해 제안 단계를 활용한다.
• 초기화를 위해 후보 세그먼트에서 일대다 분류 모델을 훈련하기 위해 분류 단계를 사용한다.
• 예측된 경계 정확도를 향상시키기 위해 분류 모델을 미세조정하기 위해 국지화 단계를 적용한다.
• 예측된 동작 세그먼트와 진짜 세그먼트 사이의 낮은 시간적 겹침을 명시적으로 페널티 처리하는 새로운 손실 함수를 도입한다.
• 장시간 영상 시퀀스에서 스파atiotemporal 특징을 캡처하기 위해 다단계 3D ConvNets를 활용한다.
• 예측된 진짜 동작 경계 간의 IoU(교차율)를 높이도록 유도하는 손실을 최적화하여 국지화 단계를 최적화한다.

실험 결과

연구 질문

• RQ1 단일 단계 접근 방식과 비교해 다단계 3D CNN 프레임워크가 트림되지 않은 영상에서 동작 시간적 국지화 정확도를 향상시킬 수 있는가?
• RQ2 시간적 IoU를 명시적으로 모델링함으로써 정밀도를 향상시키는 데에 새로운 오버랩 인식 손실 함수가 얼마나 효과적인가?
• RQ3 제안된 단계별 훈련 파이프라인(제안 → 분류 → 국지화)이 기준 벤치마크 데이터셋에서 엔드 투 엔드 방법보다 얼마나 뛰어난가?
• RQ4 제안된 방법은 배경 활동이 존재하는 다양한 동작 카테고리와 장시간 영상 시퀀스에 대해 일반화되는가?
• RQ5 표준 평가 임계값 하에서 MEXaction2와 THUMOS 2014와 같은 표준 벤치마크에서 달성 가능한 성능 향상은 어느 정도인가?

주요 결과

• IoU 임계값이 0.5일 때 MEXaction2 벤치마크에서 제안된 방법이 mAP를 7.4%p 절대적으로 향상시켰다.
• THUMOS 2014 벤치마크에서 동일한 IoU 임계값 하에서 mAP가 19.0%p 향상되어 강력한 일반화 능력을 입증했다.
• 다단계 파이프라인은 기준 방법과 비교해 거짓 양성(false positives)을 효과적으로 줄이고 경계 국지화 정확도를 향상시켰다.
• 새로운 손실 함수는 시간적 겹침을 명시적으로 최적화함으로써 국지화 성능을 크게 향상시켰다.
• 이러한 방법은 두 대규모 기준 벤치마크에서 기존 최신 기술 수준의 시스템을 모두 능가하여 그 효과성을 확인했다.
• 분류 단계는 국지화 단계에서 더 빠르고 정확한 수렴을 가능하게 하는 강력한 초기화를 제공한다.