[논문 리뷰] Untrimmed Video Classification for Activity Detection: submission to ActivityNet Challenge

Gurkirt Singh, Fabio Cuzzolin|arXiv (Cornell University)|2016. 07. 07.

Human Pose and Action Recognition참고 문헌 7인용 수 100

한 줄 요약

본 논문은 잘려 있지 않은 비디오 수준 분류를 사용하여 프레임 수준 제안을 동적 계획법으로 안내하는 2단계 접근법을 제안하고, 잘려지지 않은 비디오에서의 시간적 활동 탐지를 수행하며 ActivityNet 2016에서 준우승을 달성한다.

ABSTRACT

Current state-of-the-art human activity recognition is focused on the classification of temporally trimmed videos in which only one action occurs per frame. We propose a simple, yet effective, method for the temporal detection of activities in temporally untrimmed videos with the help of untrimmed classification. Firstly, our model predicts the top k labels for each untrimmed video by analysing global video-level features. Secondly, frame-level binary classification is combined with dynamic programming to generate the temporally trimmed activity proposals. Finally, each proposal is assigned a label based on the global label, and scored with the score of the temporal activity proposal and the global score. Ultimately, we show that untrimmed video classification models can be used as stepping stone for temporal detection.

연구 동기 및 목표

• 단일 동작 프레임을 넘어 시간적으로 잘려 있지 않은 비디오에서의 시간적 활동 탐지를 촉진한다.
• 활동 제안을 생성하기 위한 간단한 융합 기반의 잘려 있지 않은 분류 파이프라인을 제안한다.
• 잘려 있지 않은 비디오 분류가 시간적 탐지의 발판이 될 수 있음을 보여준다.
• ActivityNet에서 평가하여 경쟁력 있는 성능을 보이고 온라인 탐지로의 확장에 대해 논의한다.

제안 방법

• 비디오 수준 특징 추출 (Imagenet Shuffle, MBH 글로벌 특징, 그리고 평균풀링된 C3D 프레임 수준 점수)을 얻는다.
• 각 특징 유형에서 클래스별로 원-대-리스(one-vs-rest) 선형 SVM을 학습하여 점수 S^i, S^m, S^3를 얻는다.
• 스택된 점수에 대한 선형 SVM 메타-분류기를 사용해 비디오 수준 점수를 융합하여 비잘려진 분류 점수 S^s를 얻는다.
• 프레임 수준 C3D 특징에 대해 클래스별 이진 랜덤 포레스트 분류기를 학습하여 프레임 수준 양수 점수 s^r_t를 얻는다.
• 프레임 점수의 합을 최대화하고 경계 페널티를 뺀 값을 최대화하도록 부분적으로 상수 라벨링을 선택하는 DP 최적화로 활동 제안 생성을 공식화한다.
• 상위 활동 제안에 클래스 라벨을 할당하고 전역 비디오 클래스 점수와 결합해 탐지를 생성한다.

실험 결과

연구 질문

• RQ1 잘려 있지 않은 비디오에서의 시간적 활동 경계를 감지하기 위해 잘려 있지 않은 비디오 수준 분류를 활용할 수 있는가?
• RQ2 프레임 수준 이진 결정으로부터 정확한 활동 제안을 생성하기 위해 DP 기반 프레임워크는 얼마나 효과적인가?
• RQ3 로컬(프레임 수준) 및 글로벌(비디오 수준) 점수를 결합하면 ActivityNet에서의 활동 탐지 성능이 향상되는가?
• RQ4 상위-k 점수로 SVM 점수를 정규화하는 것이 잘려 있지 않은 분류 성능에 미치는 영향은 무엇인가?

주요 결과

• 제안된 융합을 통한 잘려 있지 않은 분류는 검증에서 높은 TOP-1 및 TOP-3를 달성하고 테스트에서도 강력한 결과를 보인다.
• ActivityNet 챌린지에서 제안된 접근 방식은 검증에서 baselines를 능가하며 (TOP-1 76.89%, TOP-3 89.25%, mAP 81.99%) 테스트에서 TOP-1 77.08%, TOP-3 89.38%, mAP 82.49%를 달성한다.
• DP 기반 최적화에 의해 생성된 활동 제안은 실제 GT와 잘 정렬되어 시간적 위치 지정에 효과적이다.
• 비디오당 상위 2개의 활동 제안은 상위 잘려 있지 않은 분류 클래스와의 곱 S_{c}^{s} * S_{a}로 점수가 매겨진다.
• 프레임 수준의 이진 결정으로 연속적인 활동 제안을 생성하는 DP는 효율적인 해를 제공한다.
• 결과에는 baselines 대비 TIoU 기반 평가에서 주목할 만한 이득이 포함되어 있으며 (검증: 0.1–0.5 TIoU 임계값) 온라인 탐지 및 동시 탐지/분류 확장의 가능성을 보여준다.
• 이 방법은 온라인 탐지 및 동시 탐지/분류 확장에 대한 가능성을 보여준다.