[논문 리뷰] Similarity R-C3D for Few-shot Temporal Activity Detection

Huijuan Xu, Bingyi Kang외 4명|arXiv (Cornell University)|2018. 12. 25.

Human Pose and Action Recognition참고 문헌 37인용 수 11

한 줄 요약

이 논문은 희귀 활동을 검출하기 위해 두 단계의 프포절 네트워크와 비디오 프포절 및 소수의 예시 간 코사인 유사도 매칭을 사용하는 엔드 투 엔드 소수 샘플 시계열 활동 검출 프레임워크인 Similarity R-C3D를 제안한다. 이는 THUMOS14, ActivityNet1.2, ActivityNet1.3에서 최신 기술 수준의 성능을 달성하며, 더 많은 소수 샘플 예시가 제공될수록 정확도가 크게 향상된다.

ABSTRACT

Many activities of interest are rare events, with only a few labeled examples available. Therefore models for temporal activity detection which are able to learn from a few examples are desirable. In this paper, we present a conceptually simple and general yet novel framework for few-shot temporal activity detection which detects the start and end time of the few-shot input activities in an untrimmed video. Our model is end-to-end trainable and can benefit from more few-shot examples. At test time, each proposal is assigned the label of the few-shot activity class corresponding to the maximum similarity score. Our Similarity R-C3D method outperforms previous work on three large-scale benchmarks for temporal activity detection (THUMOS14, ActivityNet1.2, and ActivityNet1.3 datasets) in the few-shot setting. Our code will be made available.

연구 동기 및 목표

• 단 한두 개의 레이블링된 예시만을 가지고도 트림되지 않은 비디오에서 희귀 활동을 검출하는 문제를 해결하기 위해.
• 슬라이딩 윈도우 기반 방법의 한계를 극복하기 위해, 높은 계산 비용과 고정된 경계 제약 조건으로 인한 문제를 해결하기 위해.
• 이전 방법들과 달리 추가적인 소수 샘플 예시가 제공될수록 성능 향상을 보이는 엔드 투 엔드 학습을 가능하게 하기 위해.
• 유사도 매칭을 통한 제안 생성과 소수 샘플 분류를 동시에 최적화하는 통합 프레임워크를 개발하기 위해.
• 다양한 대규모 벤치마크에서 일반화 능력과 최신 기술 수준의 성능을 입증하기 위해.

제안 방법

• 모델은 트림되지 않은 테스트 비디오와 소수 샘플 트림된 예시 비디오 양쪽에서 스페이스타임 특징을 추출하기 위해 3D 컨볼루션 네트워크(C3D)를 사용한다.
• 두 단계의 프포절 네트워크가 시계열 행동 프포절을 생성하고 보완하며, 두 번째 단계에서 전경 세그먼트 프포절을 생성한다.
• 소수 샘플 분류 브랜치는 메인 C3D 브랜치와 가중치를 공유하며, 프포절 특징과 소수 샘플 예시 특징 간 코사인 유사도를 계산한다.
• 각 프포절은 유사도 점수 중 가장 높은 값을 가진 소수 샘플 예시의 클래스 레이블을 할당받는다.
• 최종 검출 결과는 프포절 신뢰도 점수(배경 필터링용)와 유사도 점수(클래스 할당용)의 조합으로 결정된다.
• 모델 전체는 엔드 투 엔드로 훈련 가능하며, 훈련 중에 추가적인 소수 샘플 예시로부터 유의미한 이점을 얻는다.

실험 결과

연구 질문

• RQ1 더 많은 소수 샘플 예시를 활용하는 통합형 엔드 투 엔드 프레임워크가 소수 샘플 시계열 활동 검출 성능을 향상시킬 수 있는가?
• RQ2 슬라이딩 윈도우 기반의 프포절 생성 방식을 두 단계의 개선 네트워크로 대체할 경우 정확도 향상이 이루어지는가?
• RQ3 학습된 특징을 기반으로 한 유사도 기반 분류가 이전의 매칭 네트워크 스타일의 접근 방식보다 소수 샘플 환경에서 더 우수한 성능을 내는가?
• RQ4 소수 샘플 예시의 수가 증가함에 따라 데이터 기반의 성능 향상이 실제로 이루어지는가?
• RQ5 THUMOS14, ActivityNet1.2, ActivityNet1.3와 같은 다양한 벤치마크에서 이 방법의 일반화 능력은 어떠한가?

주요 결과

• ActivityNet1.2 데이터셋에서 Similarity R-C3D는 오차율 0.5 기준 45.8% mAP와 오차율 평균 기준 28.2% 평균 mAP를 기록하여, 이전 최신 기술 수준의 슬라이딩 윈도우 방법(오차율 0.5 기준 23.1% mAP, 평균 10.0% mAP)을 크게 앞서 간다.
• 모델는 한 번의 학습에서 다섯 번의 학습으로의 전환에서 성능 향상이 뚜렷하게 나타나 (39.4%에서 45.8%로 mAP@0.5 상승), 추가적인 소수 샘플 예시의 이점이 있음을 입증한다.
• CDC 모델 기반 베이스라인은 성능이 열악하여 오차율 0.5 기준 단지 8.2% mAP를 기록하여, 트림되지 않은 비디오에서 소수 샘플 검출의 과제를 강조한다.
• 절단 실험 결과, 프포절 네트워크의 사전 학습은 약간의 성능 향상을 가져오지만, 주요 성능 향상은 소수 샘플 데이터와 함께 엔드 투 엔드 학습을 통해 발생한다.
• 최적의 프포절 점수 임계값은 0.3로, 탐지에서 프포절의 수와 품질 사이의 상충 관계를 나타낸다.
• 정성적 결과는 다양한 데이터셋에서 복잡하고 장시간 지속되는 행동까지도 모델이 정확하게 지역화하고 있음을 보여준다.