[논문 리뷰] Few-Shot Action Recognition with Compromised Metric via Optimal Transport

Lü Su, Han-Jia Ye외 1명|arXiv (Cornell University)|2021. 04. 08.

Human Pose and Action Recognition참고 문헌 45인용 수 14

한 줄 요약

이 논문은 최적 운반 이론을 통한 손상된 거리 측정법(CMOT)을 제안하며, 적은 샘플로 행동을 인식하는 데 사용할 수 있는 새로운 거리 학습 프레임워크를 개발한다. 이는 최적 운반 문제로 비디오 간 비교를 설정하고 위치 오차를 방지함으로써 의미적 내용과 시간적 순서를 동시에 모델링한다. 이를 통해 UCF-101, HMDB-51, SMSM-V2에서 최신 기술 수준의 성능을 달성하며, 내용 민감도와 순서 민감도 작업 간 균형을 이루게 된다.

ABSTRACT

Although vital to computer vision systems, few-shot action recognition is still not mature despite the wide research of few-shot image classification. Popular few-shot learning algorithms extract a transferable embedding from seen classes and reuse it on unseen classes by constructing a metric-based classifier. One main obstacle to applying these algorithms in action recognition is the complex structure of videos. Some existing solutions sample frames from a video and aggregate their embeddings to form a video-level representation, neglecting important temporal relations. Others perform an explicit sequence matching between two videos and define their distance as matching cost, imposing too strong restrictions on sequence ordering. In this paper, we propose Compromised Metric via Optimal Transport (CMOT) to combine the advantages of these two solutions. CMOT simultaneously considers semantic and temporal information in videos under Optimal Transport framework, and is discriminative for both content-sensitive and ordering-sensitive tasks. In detail, given two videos, we sample segments from them and cast the calculation of their distance as an optimal transport problem between two segment sequences. To preserve the inherent temporal ordering information, we additionally amend the ground cost matrix by penalizing it with the positional distance between a pair of segments. Empirical results on benchmark datasets demonstrate the superiority of CMOT.

연구 동기 및 목표

• 집합 기반 방법이 시간 순서를 忽略하거나, 매칭 기반 방법이 순서 일치를 과도하게 제약하는 기존 적은 샘플 행동 인식 방법의 한계를 해결한다.
• 비디오의 의미적 내용과 시간적 구조를 동시에 포착할 수 있는 통합된 거리 학습 프레임워크를 개발한다.
• 의미 민감한 동작(예: 밀기 vs. 당기기)과 순서 민감한 동작(예: 왼쪽에서 오른쪽으로 vs. 오른쪽에서 왼쪽으로 움직임)에 대한 분류 능력을 균형 있게 확보한다.
• 사전 훈련된 3D CNN과 최적 운반을 활용하여 비디오 수준의 거리를 계산함으로써 효과적인 적은 샘플 일반화를 가능하게 한다.

제안 방법

• 각 비디오에서 균일하게 M=4개의 세그먼트를 추출하며, 각 세그먼트는 연속된 16프레임으로 구성되며, 사전 훈련된 C3D 네트워크를 사용해 임베딩을 추출한다.
• 두 비디오 간의 거리를 세그먼트 시퀀스 간의 최적 운반 문제로 설정하며, 의미적 비용과 위치 비용을 융합한 비용 행렬을 사용한다.
• 세그먼트 임베딩 간 L2 거리로부터 의미 비용 행렬을 구성한 후, 세그먼트 인덱스 차이에 기반한 위치 페널티로 이를 보완한다.
• 최적 운반 계산의 안정성과 수치적 강건성을 확보하기 위해 스무딩 하이퍼파라미터 λ = 7×med(C)를 적용한다.
• 모든 데이터셋에 대해 σ=1.2로 설정된 α=0.4(UCF-101, HMDB-51) 및 α=0.8(SMSM-V2)를 사용하여 의미적 비용과 위치 비용의 가중 조합을 적용한다.
• SGD를 사용해 모델을 훈련하며, C3D에 대해서는 학습률 0.001, 나머지 파rameter에 대해서는 0.01로 별도의 학습률을 설정하고, 2000 에피소드마다 0.2씩 감소시킨다.

실험 결과

연구 질문

• RQ1 통합된 거리 학습 프레임워크는 적은 샘플 행동 인식에서 의미적 내용과 시간적 순서를 효과적으로 균형 있게 다룰 수 있는가?
• RQ2 위치 정규화를 적용한 최적 운반은 의미 민감도와 순서 민감도 동작 클래스 양쪽에서 성능 향상에 어떻게 기여하는가?
• RQ3 기존의 집합 기반 및 매칭 기반 기준선에 비해 CMOT는 표준 적은 샘플 행동 인식 벤치마크에서 얼마나 뛰어난 성능을 보이는가?
• RQ4 α 및 σ와 같은 하이퍼파라미터 설정에 따라 CMOT의 성능는 다양한 데이터셋에서 얼마나 민감한가?

주요 결과

• CMOT는 N-웨이 K-샷 설정에서 UCF-101, HMDB-51, SMSM-V2에서 최신 기술 수준의 성능를 기록하며 뛰어난 일반화 능력을 입증한다.
• UCF-101에서 CMOT는 5-way 1-shot 정확도 85.2%를 달성하며, 단지 프레임 집합 또는 엄격한 순서 일치에 의존하는 이전 방법들을 능가한다.
• HMDB-51에서 CMOT는 5-way 1-shot 정확도 68.9%를 기록하며, 더 도전적인 동작 모호성이 있는 비디오에 대해 강력한 내구성을 보여준다.
• SMSM-V2에서 CMOT는 5-way 1-shot 정확도 74.1%를 달성하며, 미세한 구분이 필요한 장시간 동작 인식에서의 효과성을 확인한다.
• 제거 실험 결과에서 의미 비용과 위치 비용 구성 요소가 모두 필수적임을 입증하였으며, 특히 순서 민감도 동작에서 위치 페널티가 성능 향상에 뚜렷한 기여를 한다.
• 하이퍼파라미터 변화에 대해 강건한 성능를 보이며, SMSM-V2에서는 α=0.8, UCF-101 및 HMDB-51에서는 α=0.4에서 최적 성능를 달성한다.