[논문 리뷰] Revisiting Few-shot Activity Detection with Class Similarity Control

Huijuan Xu, Ximeng Sun외 4명|arXiv (Cornell University)|2020. 03. 31.

Human Pose and Action Recognition참고 문헌 31인용 수 9

한 줄 요약

이 논문은 제안 회귀와 클래스 유사도 제어를 통해 비정형 영상에서 탐지 정확도를 향상시키는 새로운 엔드 투 엔드 소수 샘플 시간 활동 탐지 프레임워크인 F-PAD를 제안한다. 프레임 속도의 불일치 문제를 분포 적응 손실을 통해 해결하고, 사전 훈련 데이터와 새로운 탐지 클래스 간의 겹침이 성능에 미치는 영향을 입증함으로써, 특히 샷 수가 증가할수록 최신 기술 수준의 성능을 달성한다. 또한 데이터 泄漏를 방지하기 위해 더 엄격한 평가 프로토콜을 제안한다.

ABSTRACT

Many interesting events in the real world are rare making preannotated machine learning ready videos a rarity in consequence. Thus, temporal activity detection models that are able to learn from a few examples are desirable. In this paper, we present a conceptually simple and general yet novel framework for few-shot temporal activity detection based on proposal regression which detects the start and end time of the activities in untrimmed videos. Our model is end-to-end trainable, takes into account the frame rate differences between few-shot activities and untrimmed test videos, and can benefit from additional few-shot examples. We experiment on three large scale benchmarks for temporal activity detection (ActivityNet1.2, ActivityNet1.3 and THUMOS14 datasets) in a few-shot setting. We also study the effect on performance of different amount of overlap with activities used to pretrain the video classification backbone and propose corrective measures for future works in this domain. Our code will be made available.

연구 동기 및 목표

• 희소한 감독 하에 드물게 발생하는, 새로운 활동에 일반화할 수 있는 단순하면서도 효과적인 소수 샘플 시간 활동 탐지 프레임워크를 개발하는 것.
• 소수 샘플 예제 영상와 비정형 테스트 영상 간의 프레임 속도 불일치 문제를 해결함으로써, 특징 유사도와 탐지 성능이 떨어지는 문제를 해결하는 것.
• 사전 훈련 데이터와 새로운 탐지 클래스 간의 클래스 겹침이 보고된 소수 샘플 성능에 미치는 영향을 조사하여 기존 벤치마크에서 잠재적인 데이터 泄漏를 드러내는 것.
• 기본 클래스와 새로운 클래스가 분리된 분할을 적용하여 소수 샘플 활동 탐지의 공정한 평가 프로토콜을 제안함으로써, 방법의 강인성 평가를 향상시키는 것.
• 소수 샘플 예제의 수를 늘일수록 성능 향상이 크게 발생하며, 특히 엔드 투 엔드 훈련과 특징 정렬 최적화가 이루어질 경우 성능 향상이 뚜렷한 것을 입증하는 것.

제안 방법

• 모델은 소수 샘플 예제 영상와 비정형 테스트 영상 양측에서 특징을 추출하기 위해 3D 컨볼루션 네트워크(C3D) 백본을 사용한다.
• 시간 제안 네트워크는 비정형 영상 스트림에서 후보 행동 세그먼트(제안)를 생성하며, 고정된 프레임 속도 처리를 위해 관심 영역 풀링을 활용한다.
• 유사도 기반 분류 헤드는 각 제안의 특징 임베딩을 소수 샘플 예제의 특징과 비교하여 가장 유사한 활동 레이블을 할당한다.
• 분포 적응 손실이 도입되어 제안의 특징 분포와 소수 샘플 영상의 특징 분포를 정렬함으로써, 프레임 속도의 차이로 인한 성능 저하를 완화한다.
• 전체 모델는 엔드 투 엔드로 훈련 가능하여 제안 생성과 유사도 스코어링을 함께 최적화할 수 있다.
• 추가 예제를 인퍼런스 및 훈련 중에 활용함으로써, 일샷 및 소수 샷 학습을 지원한다.

실험 결과

연구 질문

• RQ1 소수 샘플 예제 영상와 비정형 영상 제안 간의 프레임 속도 불일치가 특징 유사도와 탐지 성능에 어떤 영향을 미치는가?
• RQ2 사전 훈련 데이터셋과 새로운 탐지 클래스 간의 클래스 겹침이 보고된 소수 샘플 탐지 성능을 얼마나 과대평가하는가?
• RQ3 제안 기반 탐지 프레임워크가 소수 샘플 시간 활동 탐지에서 슬라이딩 윈도우 기반 베이스라인을 능가할 수 있으며, 더 효율적인가?
• RQ4 소수 샘플 예제의 수를 늘릴 경우(예: 1에서 5로), 탐지 정확도에 어떤 영향을 미치며, 이 성능 향상은 다양한 클래스 분할에 대해 강인한가?
• RQ5 사전 훈련에서의 데이터 泄漏를 최소화하면서 소수 샘플 활동 탐지 모델 간의 공정하고 신뢰할 수 있는 비교를 보장하는 평가 프로토콜은 무엇인가?

주요 결과

• F-PAD 모델은 ActivityNet1.2에서 51.6%의 mAP@0.5와 ActivityNet1.3에서 50.8%의 mAP@0.5를 기록하여, 유사 조건에서 이전 연구를 크게 앞서는 성능을 달성한다.
• 통제된 분할(31.7% mAP@0.5, ActivityNet1.2)에서 성능이 크게 하락함에 따라, 이전 평가에서 클래스 겹침으로 인해 성능이 과대평가되었을 가능성이 드러난다.
• 5샷 F-PAD 모델은 1샷 버전 대비 ActivityNet1.2에서 9.3%p, ActivityNet1.3에서 8.2%p의 절대적인 mAP@0.5 향상을 보이며 추가 예제의 강력한 기여를 입증한다.
• 분포 적응 손실은 프레임 속도의 차이로 인한 특징 차이를 감소시켜, 프레임 속도가 다른 환경에서 성능 향상에 측정 가능한 기여를 한다.
• THUMOS’14에서 통제된 분할 조건에서는 5샷 설정에서 단지 10.3%의 mAP@0.5를 기록하여, 클래스 겹침의 영향과 더 엄격한 평가 프로토콜의 필요성을 강조한다.
• 본 연구는 표준 소수 샘플 평가 프로토콜이 데이터 泄漏에 취약하며, 향후 벤치마크는 기본 클래스와 새로운 클래스가 분리된 분할을 사용하고, 표준 편차를 함께 보고하여 방법의 강인성을 보장해야 한다고 제안한다.