[논문 리뷰] TTAN: Two-Stage Temporal Alignment Network for Few-shot Action Recognition.

Shuyuan Li, Huabin Liu외 6명|arXiv (Cornell University)|2021. 07. 10.

Human Pose and Action Recognition참고 문헌 30인용 수 6

한 줄 요약

이 논문은 소수 샘플 동작 인식에서 시간적 비일치를 해결하기 위해 애핀 시간 변환과 이후 크로스 어텐션 특징 조율을 통한 이중단계 시간 정렬 네트워크인 TTAN을 제안한다. 행동 지속 시간과 운동 진화의 비일치를 모델링하면서도 새로운 다중 샘플 융합 전략을 통합함으로써 최신 기술 성능(SOTA)을 달성한다.

ABSTRACT

Few-shot action recognition aims to recognize novel action classes (query) using just a few samples (support). The majority of current approaches follow the metric learning paradigm, which learns to compare the similarity between videos. Recently, it has been observed that directly measuring this similarity is not ideal since different action instances may show distinctive temporal distribution, resulting in severe misalignment issues across query and support videos. In this paper, we arrest this problem from two distinct aspects -- action duration misalignment and motion evolution misalignment. We address them sequentially through a Two-stage Temporal Alignment Network (TTAN). The first stage performs temporal transformation with the predicted affine warp parameters, while the second stage utilizes a cross-attention mechanism to coordinate the features of the support and query to a consistent evolution. Besides, we devise a novel multi-shot fusion strategy, which takes the misalignment among support samples into consideration. Ablation studies and visualizations demonstrate the role played by both stages in addressing the misalignment. Extensive experiments on benchmark datasets show the potential of the proposed method in achieving state-of-the-art performance for few-shot action recognition.

연구 동기 및 목표

• 쿼리 및 서포트 비디오 간에 일관되지 않은 행동 지속 시간과 운동 진화 패턴이 존재하는 소수 샘플 동작 인식에서 시간적 비일치 문제를 해결한다.
• 시간 분포의 차이를 고려하지 않는 측도 학습 방법의 한계를 극복한다.
• 행동 지속 시간 비일치와 운동 진화 비일치를 순차적으로 수정함으로써 특징 일관성을 향상시키는 이중단계 프레임워크를 개발한다.
• 다중 서포트 샘플 간의 비일치를 명시적으로 모델링하여 인식의 강건성을 향상시키는 다중 샘플 융합 전략을 도입한다.
• 개선된 시간 정렬과 특징 조율을 통해 표준 소수 샘플 동작 인식 기준 데이터셋에서 최신 기술 성능(SOTA)을 달성한다.

제안 방법

• 첫 번째 단계에서 애핀 와핑 파라미터를 적용하여 쿼리 비디오를 서포트 비디오에 맞게 시간적으로 재스케일링함으로써 행동 지속 시간 비일치를 수정한다.
• 두 번째 단계에서 크로스 어텐션 메커니즘을 사용하여 시간 진화 패턴에 기반해 서포트 및 쿼리 비디오 간의 특징을 동적으로 정렬한다.
• 크로스 어텐션 모듈을 통합하여 쿼리 및 서포트 모odal 간의 대응하는 시간 세그먼트에 주의를 기울여 특징 표현을 개선한다.
• 다중 서포트 샘플 간의 상호 비일치를 모델링하면서 특징를 융합하는 다중 샘플 융합 전략을 설계한다.
• 일치하는 쿼리 및 서포트 쌍 간의 특징 유사도를 최적화하기 위해 대비 손실을 사용하여 네트워크를 엔드 투 엔드로 훈련시킨다.
• 두 단계 정렬 메커니즘을 적용하기 전에 사전 훈련된 비디오 백본(예: I3D)을 활용하여 초기 특징을 추출한다.

실험 결과

연구 질문

• RQ1 쿼리 및 서포트 비디오 간의 시간적 비일치가 소수 샘플 동작 인식 성능에 어떤 영향을 미치는가?
• RQ2 애핀 시간 변환은 소수 샘플 비디오 인식에서 행동 지속 시간 비일치를 어느 정도 감소시킬 수 있는가?
• RQ3 크로스 어텐션 메커니즘은 쿼리 및 서포트 비디오 간의 운동 진화 패턴을 효과적으로 정렬할 수 있는가?
• RQ4 다중 서포트 샘플 간의 비일치를 모델링하면 인식 정확도는 어떻게 향상되는가?
• RQ5 제안된 이중단계 정렬 프레임워크는 기존의 측도 학습 기반 방법보다 소수 샘플 동작 인식 기준 데이터셋에서 더 우수한 성능을 내는가?

주요 결과

• TTAN은 표준 소수 샘플 동작 인식 기준 데이터셋에서 최신 기술 성능(SOTA)을 달성하며, 새로운 동작 클래스에 대한 뛰어난 일반화 능력을 입증한다.
• 절단 분석 결과, TTAN의 두 단계 모두 성능 향상에 기여하며, 특히 두 번째 단계(크로스 어텐션)에서 가장 큰 기여를 한다.
• 다중 샘플 융합 전략은 특징 융합 과정에서 다중 서포트 샘플 간 비일치를 효과적으로 모델링함으로써 인식 정확도를 향상시킨다.
• 시각화 결과, 크로스 어텐션 메커니즘이 쿼리 및 서포트 비디오 간의 분류에 기여하는 시간 세그먼트를 성공적으로 정렬함을 보여준다.
• 이중단계 정렬 프레임워크는 특히 행동 지속 시간과 운동 역학의 변동성이 클 경우 특징 비일치를 줄이는 데 효과적이다.
• TTAN은 특히 하나 또는 몇 개의 서포트 샘플만 존재하는 소수 샘플 설정에서 기존의 측도 학습 기반 방법보다 뛰어난 성능을 보인다.