[논문 리뷰] Towards Universal Representation for Unseen Action Recognition

Yi Zhu, Yang Long외 3명|arXiv (Cornell University)|2018. 03. 22.

Human Pose and Action Recognition참고 문헌 48인용 수 15

한 줄 요약

이 논문은 비음수 행렬 분해(NMF)에 젠슨-쇼너 클리어런스(Jensen–Shannon Divergence, JSD) 제약 조건을 적용한 새로운 유니버설 리プレゼン테이션 러닝(URL) 알고리즘을 기반으로, 딥 페처와 함께 교차 데이터셋에 대한 미사용 동작 인식(CD-UAR)을 위한 유니버설 리プレゼ가션(UR)을 제안한다. 이 방법은 생성적 다중 인스턴스 학습(GMIL)을 통해 공유되는 시각-의미적 '구성 요소'를 발견함으로써, 재학습 없이도 새로운 데이터셋에서 미사용 동작을 제로샷으로 인식할 수 있게 하며, UCF101 및 HMDB51 벤치마크에서 최신 기술을 능가한다.

ABSTRACT

Unseen Action Recognition (UAR) aims to recognise novel action categories without training examples. While previous methods focus on inner-dataset seen/unseen splits, this paper proposes a pipeline using a large-scale training source to achieve a Universal Representation (UR) that can generalise to a more realistic Cross-Dataset UAR (CD-UAR) scenario. We first address UAR as a Generalised Multiple-Instance Learning (GMIL) problem and discover 'building-blocks' from the large-scale ActivityNet dataset using distribution kernels. Essential visual and semantic components are preserved in a shared space to achieve the UR that can efficiently generalise to new datasets. Predicted UR exemplars can be improved by a simple semantic adaptation, and then an unseen action can be directly recognised using UR during the test. Without further training, extensive experiments manifest significant improvements over the UCF101 and HMDB51 benchmarks.

연구 동기 및 목표

• 기존의 제로샷 동작 인식 방법이 내부 데이터셋의 사전/사후 분할에 의존하는 한계를 해결하기 위해.
• 새로운 데이터에 대해 재학습이나 미세조정 없이도 다양한 데이터셋 간에 일반화 가능한 유니버설 리プレゼ가션(UR)을 개발하기 위해.
• 대규모 소스 데이터(예: ActivityNet)를 활용해 공유되는 시각-의미 기반을 학습함으로써, 교차 데이터셋 제로샷 동작 인식을 효과적으로 가능하게 하기 위해.
• 새로운 분포에 대한 일반화를 향상시키기 위해, 시각적 및 의미적 특징의 공통 및 생성적 구성 요소를 새로운 NMF 프레임워크에 JSD 제약 조건을 적용하여 유지하기 위해.

제안 방법

• 사전 학습된 CNN를 사용해 영상 프레임에서 딥 페처를 추출한 후, 행동을 나타내는 핵심 '구성 요소'를 식별하기 위해 생성적 다중 인스턴스 학습(GMIL)을 적용한다.
• 비음수 행렬 분해(NMF)와 젠슨-쇼너 클리어런스(JSD) 제약 조건을 결합한 새로운 유니버설 리プレゼ가션 러닝(URL) 알고리즘을 제안한다.
• JSD 제약 조건은 소스 도메인과 타겟 도메인 간의 생성 기반을 유지함으로써, 새로운 시각적 및 의미적 분포로의 균형 잡힌 일반화를 보장한다.
• 시각적 UR 기반과 Word2vec에서 유추된 새로운 프로토타입 간의 정렬을 위해 전이 공동 매칭(TJM) 레이어를 사용한 의미 도메인 적응을 적용한다.
• 비음수성과 JSD 제약 조건 하에서 시각-의미 특징 행렬을 인수 분해함으로써, 부분 기반의 해석 가능한 표현을 가능하게 하는 UR을 학습한다.
• 추론 단계에서는 동일한 GMIL 구성 요소를 사용해 새로운 동작를 인코딩하고, 코사인 유사도를 통해 UR과 매칭함으로써 추가 학습 없이 직접 인식이 가능하게 한다.

실험 결과

연구 질문

• RQ1 대규모 소스 데이터셋에서 유니버설 리プレゼ가션을 학습할 수 있는가? 이는 완전히 새로운 데이터셋에서의 새로운 동작에 대해 효과적으로 일반화되는가?
• RQ2 시각적 및 의미적 특징을 함께 인수 분해함으로써, 도메인 이동 상황에서도 공통 및 생성적 구성 요소를 유지할 수 있는가?
• RQ3 NMF에 JSD 제약 조건을 통합함으로써, 교차 데이터셋 제로샷 학습에서 새로운 분포로의 일반화가 얼마나 향상되는가?
• RQ4 제안된 파이프라인은 타겟 데이터에 대한 미세조정 없이도 유도적 및 전도적 CD-UAR 시나리오에서 기존 방법을 능가하는가?
• RQ5 URL 프레임워크에서 기저 공간의 차원 수에 따라 성능이 얼마나 민감한가?

주요 결과

• 제안된 유니버설 리プレゼ가션(UR)은 유도적 CD-UAR 시나리오에서 UCF101 및 HMDB51 벤치마크에서 최신 기술을 크게 능가하며, 데이터셋 간 강력한 일반화 능력을 입증한다.
• GMIL 특징에 RBF 커널을 사용한 베이스라인 방법의 성능이 제안된 파이프라인을 적용한 후 15.0%에서 19.8%로 향상되어, 전체 프레임워크의 효과성을 입증한다.
• URL에서 JSD 제약 조건을 제거한 경우(즉, 표준 NMF 사용 시) 성능이 심각하게 저하되어, 일반화를 위해 분포 유지 제약 조건이 반드시 필요하다는 것을 입증한다.
• 도메인 적응을 위해 전이 공동 매칭(TJM)을 사용한 결과, HMDB51에서 전도적 CD-UAR 시나리오에서 약 5% 향상되어, 시각적 및 의미적 공간 정렬에서 TJM의 기여도를 강조한다.
• 기저 공간 크기 변화에 대해 성능가 상대적으로 민감하지 않으며, 높은 차원과 낮은 차원 모두 유사한 성능를 보였고, 성능 차이는 극히 미미하였다.