[논문 리뷰] Few-shot Action Recognition via Intra- and Inter-Video Information Maximization

Huabin Liu, Weiyao Lin외 4명|arXiv (Cornell University)|2023. 05. 10.

Human Pose and Action Recognition인용 수 4

한 줄 요약

이 논문은 비디오 정보 최대화(VIM)를 제안하며, 내비디오 및 외비디오 정보를 동시에 최대화함으로써 소수의 샘플에서 행동 인식 성능을 햖थ하는 새로운 프레임워크이다. VIM은 작업에 맞는 중요도 기반으로 핵심 프레임을 동적으로 선택하고 분류 가능한 영역을 강조하는 적응형 공간-시간 비디오 샘플러를 사용하며, 특징 수준의 정렬을 통해 외비디오 유사도 측정을 향상시키는 공간-시간 행동 정렬 모델을 활용하여 UCF101, SSv2, HMDB51에서 상위 성능을 달성한다. 이는 상호정보량 기반 보조 손실을 통해 이루어진다.

ABSTRACT

Current few-shot action recognition involves two primary sources of information for classification:(1) intra-video information, determined by frame content within a single video clip, and (2) inter-video information, measured by relationships (e.g., feature similarity) among videos. However, existing methods inadequately exploit these two information sources. In terms of intra-video information, current sampling operations for input videos may omit critical action information, reducing the utilization efficiency of video data. For the inter-video information, the action misalignment among videos makes it challenging to calculate precise relationships. Moreover, how to jointly consider both inter- and intra-video information remains under-explored for few-shot action recognition. To this end, we propose a novel framework, Video Information Maximization (VIM), for few-shot video action recognition. VIM is equipped with an adaptive spatial-temporal video sampler and a spatiotemporal action alignment model to maximize intra- and inter-video information, respectively. The video sampler adaptively selects important frames and amplifies critical spatial regions for each input video based on the task at hand. This preserves and emphasizes informative parts of video clips while eliminating interference at the data level. The alignment model performs temporal and spatial action alignment sequentially at the feature level, leading to more precise measurements of inter-video similarity. Finally, These goals are facilitated by incorporating additional loss terms based on mutual information measurement. Consequently, VIM acts to maximize the distinctiveness of video information from limited video data. Extensive experimental results on public datasets for few-shot action recognition demonstrate the effectiveness and benefits of our framework.

연구 동기 및 목표

• 소수의 샘플에서 행동 인식 시 내비디오 및 외비디오 정보의 잠재적 활용이 부족한 문제를 해결하기 위해.
• 제한된 레이블이 부여된 비디오 데이터에서 비디오 수준 및 외비디오 수준의 정보적 콘텐츠를 최대화하여 인식 성능을 향상시키기 위해.
• 프레임 샘플링 및 행동 비일치로 인한 특징 품질 저하와 유사도 측정의 열악함을 해결하기 위해.
• 내비디오 및 외비디오 정보를 동시에 최적화하는 통합 프레임워크를 개발하여 소수의 샘플에서의 일반화 성능을 향상시키기 위해.
• 상호정보량 기반 보조 손실이 소수의 샘플 비디오 인식을 위한 표현 학습을 어떻게 향상시키는지 검증하기 위해.

제안 방법

• 작업에 맞는 중요도 기반으로 핵심 프레임과 분류 가능한 공간 영역을 동적으로 선택하는 적응형 공간-시간 비디오 샘플러를 도입한다.
• 두 단계로 구성된 행동 정렬 모델을 활용한다: 시간 정렬(TC)은 관련 없는 프레임을 걸러내고, 공간 정렬(SC)은 다양한 비디오 간의 행동 특화 영역에 집중한다.
• 내비디오(프레임 수준) 및 외비디오(비디오 수준) 표현 학습을 유도하기 위해 상호정보량 최대화를 보조 손실로 사용한다.
• 대비 학습 목표를 통해 특징 수준의 정렬을 적용하여 정렬된 지원 비디오와 쿼리 비디오 특징 간의 유사도를 증가시킨다.
• 데이터 수준 및 특징 수준의 정보 최대화를 동시에 최적화하기 위해 비디오 샘플러와 정렬 모델을 엔드 투 엔드로 학습 가능한 프레임워크에 통합한다.
• 소수의 샘플 분류를 위해 프로토타입을 학습하는 ProtoNet 기반의 분류 헤드를 활용하며, VIM 파이프라인에서 얻은 개선된 특징으로 강화된다.

Figure 1 : Overall pipeline of VIM. The few-shot action recognition involves two primary sources of information: (1) Intra-video information and (2) Inter-video information. Our proposed VIM newly introduces an adaptive sampling and action alignment, which seeks to maximize the inter- and intra-vide

실험 결과

연구 질문

• RQ1 적응형 샘플링은 소수의 샘플에서 행동 인식 시 내비디오 정보의 활용을 향상시킬 수 있는가?
• RQ2 공간-시간 행동 정렬은 행동 비일치의 영향을 줄이고 외비디오 유사도 측정을 향상시킬 수 있는가?
• RQ3 내비디오 및 외비디오 정보를 동시에 최대화하면 더 나은 소수의 샘플 일반화 성능을 달성할 수 있는가?
• RQ4 상호정보량 기반 보조 손실은 소수의 샘플 비디오 인식을 위한 표현 학습을 얼마나 효과적으로 유도하는가?
• RQ5 VIM은 미세조정 없이 다양한 도메인으로 일반화되는 정도는 어느 정도인가?

주요 결과

• VIM은 소수의 샘플 설정에서 UCF101 및 SSv2 데이터셋에서 최상의 성능을 기록하며, TRX, OTAM, HyRSM과 같은 기존 방법들을 능가한다.
• 5-way 1-shot 설정에서 VIM은 UCF101에서 85.6%의 정확도와 SSv2에서 68.4%의 정확도를 달성하여 강력한 소수의 샘플 일반화 성능을 입증한다.
• 절단 분석 결과, 적응형 비디오 샘플러와 행동 정렬 모듈이 성능 향상에 크게 기여하며, 상호정보량 손실이 각각 3.2% 및 2.8%의 성능 향상을 기여함을 확인했다.
• VIM은 강력한 도메인 일반화 성능을 보이며, Kinetics로 사전학습한 VIM은 UCF 및 HMDB로의 일반화가 잘 되어 있으며, 이는 해당 데이터셋에서 표준 학습과 유사한 성능을 달성한다.
• VIM의 추론 속도는 OTAM 및 TRX보다 빠르며, HyRSM보다 파rameter 수가 적어, 32.4M개의 추가 파라미터에도 불구하고 효율적인 성능을 보인다.
• 시각화 결과는 샘플러가 핵심 행동 프레임을 유지하고 분류 가능한 영역을 강조하는 것을 보여주며, 정렬 모델이 다양한 비디오 간의 시간적 및 공간적 행동 변화를 효과적으로 정렬함을 확인했다.

Figure 2 : (a) Uniform sampler may overlook frames containing key actions. Critical regions involving the actors and objects may be too small to be properly recognized. (b) Our sampler is able to (I) select frames from an entire video that contribute most to recognition, (II) amplify discriminative