[논문 리뷰] A flexible model for training action localization with varying levels of supervision

Guilhem Chéron, Jean-Baptiste Alayrac외 2명|arXiv (Cornell University)|2018. 06. 29.

Human Pose and Action Recognition인용 수 25

한 줄 요약

이 논문은 다양한 감독 수준(영상 수준 레이블에서 프레임 별 정확한 앵커까지)에 대응하는 유연하고 분류 기반의 클러스터링 프레임워크를 제안한다. 다양한 약한 감독 신호를 최적화 제약 조건으로 통합함으로써, UCF101-24 및 DALY에서 높은 성능을 달성하면서도 주로 애너테이션 작업을 크게 줄였다. 이는 완전히 감독된 설정에서 mAP@0.5가 50.1%에 이르며, 약한 감독과 강한 감독을 혼합함으로써 성능 향상이 뚜렷하게 이루어짐을 보여준다.

ABSTRACT

Spatio-temporal action detection in videos is typically addressed in a fully-supervised setup with manual annotation of training videos required at every frame. Since such annotation is extremely tedious and prohibits scalability, there is a clear need to minimize the amount of manual supervision. In this work we propose a unifying framework that can handle and combine varying types of less-demanding weak supervision. Our model is based on discriminative clustering and integrates different types of supervision as constraints on the optimization. We investigate applications of such a model to training setups with alternative supervisory signals ranging from video-level class labels to the full per-frame annotation of action bounding boxes. Experiments on the challenging UCF101-24 and DALY datasets demonstrate competitive performance of our method at a fraction of supervision used by previous methods. The flexibility of our model enables joint learning from data with different levels of annotation. Experimental results demonstrate a significant gain by adding a few fully supervised examples to otherwise weakly labeled videos.

연구 동기 및 목표

• 모든 행동에 대해 프레임 별 바운딩 박스 애너테이션을 요구하는 완전한 감독 기반 행동 로컬라이제이션의 높은 애너테이션 비용을 줄이기 위해.
• 밀도 높은 프레임 수준 애너테이션의 번거로움과 실수의 위험성으로 인해 현재의 완전한 감독 기반 방법들이 확장성에 한계를 가진다는 문제를 해결하기 위해.
• 영상 수준 레이블, 시간적 포인트, 희소 바운딩 박스 등 다양한 약한 감독 유형을 통합하고 처리할 수 있는 통합 프레임워크를 개발하기 위해.
• 약한 감독과 강한 감독을 혼합함으로써 성능 향상이 크게 이루어지는지, 특히 소수의 완전히 애너테이션된 영상과 약한 레이블이 함께 사용될 경우 성능 향상이 어떻게 이루어지는지 입증하기 위해.
• 완전한 감독 설정에서도 뛰어난 성능를 유지함으로써 모든 감독 수준 간의 공정한 비교를 가능하게 하기 위해, 약한 감독 설정에서만 성능이 좋지 않은 모델이 아닌, 모든 설정에서 우수한 성능를 보여주기 위해.

제안 방법

• 행동 로컬라이제이션 문제를 분류 기반 클러스터링 문제로 재정의하여, 모델이 인간 트랙렛을 행동 클래스에 할당하는 라벨 할당 행렬 Y를 추정하도록 한다.
• 다양한 영상 간 트랙렛의 일관성 있고 분류 가능한 클러스터링을 최적화하기 위한 통합 목적 함수 h(Y)를 정의한다.
• 영상 수준 레이블, 시간적 포인트, 바운딩 박스 등 다양한 감독 유형을 목적 함수를 수정하지 않고도 최적화 제약 조건 Y_s로 통합한다.
• 더 강한 감독(예: 완전한 바운딩 박스)이 더 약한 감독(예: 영상 수준 레이블)보다 더 엄격한 제약 조건을 부여하는 계층적 제약 구조를 사용하여 점진적인 정밀도 향상을 가능하게 한다.
• 밀도 높은 공간적 애너테이션에 의존하지 않도록 사전에 학습된 인체 검출기와 추적기를 활용하여 트랙렛을 추출한다.
• I3D 특징에 기반한 선형 분류기를 학습하며, 향후 비선형 모델로의 확장도 유연하게 가능하게 하며, 모든 감독 수준에서 성능을 검증한다.

실험 결과

연구 질문

• RQ1 단일의 통합 모델이 행동 로컬라이제이션에 대해 다양한 종류의 약한 감독을 효과적으로 통합하고 처리할 수 있는가?
• RQ2 영상 수준 레이블에서 프레임 별 애너테이션까지 다양한 감독 수준에서 성능가 어떻게 변화하는가?
• RQ3 소수의 완전히 애너테이션된 영상과 함께 약한 감독(예: 영상 수준 레이블 또는 시간적 포인트)을 혼합할 경우 성능 향상 정도는 어느 정도인가?
• RQ4 약한 감독을 주로 고려해 설계된 이 방법이 완전한 감독 설정에서도 경쟁적인 성능를 유지하는가?
• RQ5 강력한 로컬라이제이션 성능를 달성하기 위해 필요한 최소한의 애너테이션 노력은 얼마이며, 감독 수준을 혼합함으로써 이에 어떤 영향을 미치는가?

주요 결과

• 완전한 감독 설정에서 UCF101-24에서 mAP@0.5가 50.1%를 기록했으며, 최근의 최고 성능 모델인 kalogeiton17iccv(49.2%)와 유사하고, gu2017ava(59.9%)에도 근접한 성능를 보였다.
• 전체 학습 데이터의 약 5%에 해당하는 20개의 완전히 애너테이션된 영상과 나머지 영상에 대한 영상 수준 레이블만을 사용했을 때, DALY에서 mAP@0.2가 18.2%에 이르며, 완전한 감독 설정에서 40%의 완전 애너테이션 데이터를 사용한 성능를 재현했다.
• 시간적 포인트 감독(예: 각 행동에 대해 한 번의 클릭)을 사용할 경우, 영상 수준 레이블만 사용하는 것보다 정확도가 향상되어 행동 경계 탐지의 모호성이 감소함을 확인했다.
• 감독 수준을 혼합함으로써(예: 영상 수준 레이블과 소수의 완전히 애너테이션된 영상 조합) 성능 향상이 뚜렷하게 이루어지며, 하이브리드 애너테이션 전략의 실용적 가치를 입증했다.
• 기존의 약한 감독 기반 기준 모델인 weinzaepfel2016towards보다 성능이 뛰어나, 그 방법에서 추출한 트랙렛을 사용했을 때 UCF101-24에서 영상 수준 mAP가 53.1%에 이르렀으며(기준 모델 37.4% 대비), 성능 향상이 뚜렷했다.
• 이 프레임워크는 모든 감독 수준 간의 공정한 비교를 가능하게 하였으며, 애너테이션 밀도에 관계없이 동일한 모델 아키텍처가 뛰어난 성능를 보임을 입증함으로써, 이 프레임워크의 유연성과 강건성을 검증했다.