[논문 리뷰] Learning from Temporal Gradient for Semi-supervised Action Recognition

Junfei Xiao, Longlong Jing외 6명|arXiv (Cornell University)|2021. 11. 25.

Human Pose and Action Recognition참고 문헌 58인용 수 9

한 줄 요약

이 논문은 제한된 레이블이 부여된 비디오 데이터로부터 특징 학습을 향상시키기 위해 시간적 기울기(TG)를 추가 모odal로 활용하는 준지도 학습 동작 인식 방법을 제안한다. TG에서 RGB 특징으로 블록 단위로 조밀한 지식 정복을 적용하고, 교차 모달 대비 학습을 수행함으로써, 추가 추론 계산이나 파라미터 없이 Kinetics-400, UCF-101, HMDB-51에서 최신 기술 성능(SOTA)을 달성한다.

ABSTRACT

Semi-supervised video action recognition tends to enable deep neural networks to achieve remarkable performance even with very limited labeled data. However, existing methods are mainly transferred from current image-based methods (e.g., FixMatch). Without specifically utilizing the temporal dynamics and inherent multimodal attributes, their results could be suboptimal. To better leverage the encoded temporal information in videos, we introduce temporal gradient as an additional modality for more attentive feature extraction in this paper. To be specific, our method explicitly distills the fine-grained motion representations from temporal gradient (TG) and imposes consistency across different modalities (i.e., RGB and TG). The performance of semi-supervised action recognition is significantly improved without additional computation or parameters during inference. Our method achieves the state-of-the-art performance on three video action recognition benchmarks (i.e., Kinetics-400, UCF-101, and HMDB-51) under several typical semi-supervised settings (i.e., different ratios of labeled data).

연구 동기 및 목표

• 비디오를 3차원 이미지로 간주하는 기존 준지도 학습 비디오 방법들이 시간 역학을 고려하지 않아 성능이 열악한 문제를 해결한다.
• 색상에 영향을 받지 않으며 미세한 운동을 명시적으로 표현하는 시간적 기울기(TG)에 포함된 풍부한 운동 신호를 활용한다.
• 지식 정복과 대비 학습을 통해 RGB 및 TG 모달 간의 일致성을 강제하여, 낮은 레이블 설정에서의 일반화 성능을 향상시킨다.
• 훈련 시 TG를 사용하지만 추론 시에는 오직 RGB 모델만 사용함으로써 추론 효율성을 유지하는 방법을 설계한다.
• 최소한의 아키텍처적 및 계산적 오버헤드로 여러 벤치마크에서 최신 기술 성능을 달성한다.

제안 방법

• 시간적 기울기(TG)를 신규 모달로 정의한다: 연속된 RGB 프레임 간의 차이로 표현되며, $TG = x_t^{RGB} - x_{t+n}^{RGB}$ 로 정의되며, 미세한 운동 신호를 캡처한다.
• RGB 학습자와 TG 교사 네트워크의 대응하는 잔차 블록에서 특징을 정렬함으로써, 전체 잔차 블록에 걸쳐 블록 단위로 조밀한 지식 정복을 적용하여 운동 표현을 전달한다.
• 정복 과정에서 TG 브랜치에 정지 기울기(Stop-gradient) 연산을 적용하여 운동 특징에 특화된 정보를 유지하고 교사 모델의 품질 저하를 방지한다.
• 온도 조정된 대비 손실을 사용하여 RGB 및 TG 특징 시퀀스 간의 교차 모달 대비 학습을 구현함으로써 고수준 표현의 일致성을 강제한다.
• 훈련 중에 RGB 및 TG 모델의 예측을 융합하여 더 신뢰할 수 있는 가짜 레이블을 생성하기 위해 가짜 레이블 융합 전략을 도입한다.
• 훈련 안정성 향상과 수렴 개선을 위해 감독적 웜업, 학습률 웜업, PreciseBN 등을 훈련 기술로 도입한다.

실험 결과

연구 질문

• RQ1 낮은 레이블 설정에서 RGB보다 시간적 기울기(TG)가 준지도 학습 비디오 동작 인식에 더 효과적인 모달이 될 수 있는가?
• RQ2 추론 비용 증가 없이 TG에서 유도된 미세한 운동 표현을 RGB 기반 학습자 모델로 효과적으로 전달할 수 있는가?
• RQ3 RGB 및 TG 특징 간의 다중 모달 일치를 강제할 경우 모델의 일반화 능력과 성능에 어떤 영향을 미치는가?
• RQ4 가짜 레이블 융합 및 대비 학습과 같은 다양한 훈련 전략이 준지도 학습 환경에서 성능 향상에 기여하는 방식은 무엇인가?
• RQ5 블록 단위 정렬, 대비 손실의 온도 등 다양한 아블레이션 설정 중에서 최적의 성능과 안정성을 얻는 조합은 무엇인가?

주요 결과

• 20%의 레이블 데이터만을 사용할 때, RGB보다 시간적 기울기를 입력으로 사용하면 UCF-101에서 Top-1 정확도가 25% 높게 나타나, 낮은 데이터 환경에서의 우수성을 입증한다.
• 모든 잔차 블록에 걸쳐 블록 단위로 조밀한 지식 정복을 적용함으로써, 기준 모델인 FixMatch 대비 Top-1 정확도가 20.5% 향상되어 54.1%에서 74.6%로 상승한다.
• 제안된 방법은 Kinetics-400, UCF-101, HMDB-51에서 모든 레이블 데이터 비율에서 최신 기술 성능을 달성하며, 이전 방법들을 능가한다.
• 감독적 웜업이 가장 효과적인 훈련 기술로, Top-1 정확도를 2.7% 향상시켜 71.9%에서 74.6%로 향상시키며, 초기 훈련 단계에서 열악한 가짜 레이블 품질 문제를 완화하는 데 기여한다.
• 온도가 0.2 또는 0.5일 때 대비 학습이 최적의 성능을 낸 반면, 극단적인 값(0.1 또는 1.0)은 성능 저하를 초래한다.
• 정복 과정에서 정지 기울기 연산을 제거할 경우 Top-1 정확도가 14.6% 감소(74.6%에서 60.0%로)하여, 이 기능이 운동 특징 품질 유지를 위해 핵심적인 역할을 한다는 것을 입증한다.