[논문 리뷰] Temporal Query Networks for Fine-grained Video Understanding

Chuhan Zhang, Ankush Gupta외 1명|arXiv (Cornell University)|2021. 04. 19.

Human Pose and Action Recognition참고 문헌 24인용 수 4

한 줄 요약

이 논문은 각 동작 클래스를 비트림 영상에서 답변해야 할 질의로 간주함으로써 세밀한 동작 인식을 가능하게 하는 Transformer 기반 아키텍처인 시간적 질의 네트워크(Temporal Query Network, TQN)를 제안한다. 시간적 어텐션과 밀도 높은 메모리 효율적 훈련을 위한 확률적 특징 백업을 사용함으로써, TQN은 RGB 특징만을 사용하여 FineGym과 Diving48에서 최신 기준 성능을 달성하며, 다양한 지속 시간 동안 짧고 미세한 동작을 우수하게 모델링함을 보여준다.

ABSTRACT

Our objective in this work is fine-grained classification of actions in untrimmed videos, where the actions may be temporally extended or may span only a few frames of the video. We cast this into a query-response mechanism, where each query addresses a particular question, and has its own response label set. We make the following four contributions: (I) We propose a new model - a Temporal Query Network - which enables the query-response functionality, and a structural understanding of fine-grained actions. It attends to relevant segments for each query with a temporal attention mechanism, and can be trained using only the labels for each query. (ii) We propose a new way - stochastic feature bank update - to train a network on videos of various lengths with the dense sampling required to respond to fine-grained queries. (iii) We compare the TQN to other architectures and text supervision methods, and analyze their pros and cons. Finally, (iv) we evaluate the method extensively on the FineGym and Diving48 benchmarks for fine-grained action classification and surpass the state-of-the-art using only RGB features.

연구 동기 및 목표

• 시간적으로 짧고 시각적으로 미세한 동작을 포함하는 비트림 영상에서 세밀한 동작 인식 문제를 해결하기 위해 정밀한 시간적 국소화가 필요하다.
• 각 동작 클래스를 영상에서 답변해야 할 별개의 질문으로 간주함으로써 질의 기반 비디오 이해를 가능하게 한다.
• GPU 메모리 제약이 존재하는 상황에서도 장시간 비트림 영상에서 밀도 높은 시간 샘플링을 통해 모델을 효과적으로 훈련시키기 위한 방법을 개발한다.
• 프레임 수준의 앵커파일이나 경계 상자 정보 없이도, 오직 질의 수준의 레이블만 제공되는 약한 지도 학습 환경을 지원하는 훈련 프레임워크를 개발한다.
• 광범위한 동작 인식 벤치마크에서 오직 RGB 특징만을 사용하여 기존 방법을 뛰어넘는 정확도를 달성하며, 고비용의 옵티컬 플로우나 3D 컨볼루션을 회피한다.

제안 방법

• 시간적 질의 네트워크(TQN)는 Transformer 기반 아키텍처를 사용하여 각 질의에 대해 관련 있는 영상 세그먼트에 주의를 기울이며, 질의에 특화된 응답 예측을 가능하게 한다.
• 각 질의는 다중 헤드 자기어텐션을 통해 전체 영상에 걸쳐 주의를 기울일 수 있는 학습 가능한 질의 벡터와 연관된다.
• 밀도 높은 샘플링을 처리하기 위해 확률적 특징 백업을 도입함: 각 훈련 스텝에서 밀도 높은 클립에서 랜덤으로 선택된 특징들만 계산하고 역전파한다.
• 훈련 중에 특징 백업이 확률적으로 업데이트되어, GPU 메모리가 고갈되지 않도록 다양한 시간적 맥락에서 학습할 수 있도록 한다.
• 경계 상자나 프레임 수준의 앵커파일이 필요 없이 오직 질의 수준의 레이블만을 사용하여 종합적으로 훈련된다.
• 밀도 높은 시간적 민감도를 통해 짧은 동작(예: 0.3초)과 더 긴 시퀀스 모두에 대해 전체 영상 지속 시간 동안 주의를 기울임으로써, 짧고 세밀한 동작을 효과적으로 처리할 수 있다.

실험 결과

연구 질문

• RQ1 학습 가능한 어텐션 메커니즘을 갖춘 질의-응답 프레임워크가 비트림 영상에서 세밀한 동작을 효과적으로 국소화하고 분류할 수 있는가?
• RQ2 GPU 메모리 제약이 존재하는 상황에서 장시간 비트림 영상에서 밀도 높은 시간 샘플링을 통해 딥 러닝 모델을 효율적으로 훈련시킬 수 있는가?
• RQ3 옵티컬 플로우나 3D 컨볼루션 없이 오직 RGB 특징만을 사용하여 세밀한 동작 인식에서 최신 기준 성능을 달성할 수 있는가?
• RQ4 확률적 특징 백업 업데이트 전략은 장시간 영상 시퀀스에서 수렴성과 성능 측면에서 기존 훈련 방식과 비교해 어떻게 다른가?
• RQ5 확장되고 밀도 높은 시간적 맥락은 세밀한 비디오 이해에서 미세한 동작 차이를 모델링하는 데 어떤 영향을 미치는가?

주요 결과

• TQN 모델은 오직 RGB 특징만을 사용함으로써 FineGym 데이터셋에서 최신 기준 성능을 달성하며, 이전 방법들을 능가한다.
• Diving48 벤치마크에서, 확률적 특징 백업을 사용한 TQN은 추가적인 지도 정보나 옵티컬 플로우를 사용하는 기존 방법들조차도 능가한다.
• 제거 실험을 통해 확률적 특징 백업이 장시간 영상에서 밀도 높은 샘플링을 수행할 때 훈련의 안정성과 성능에 핵심적인 역할을 한다는 것이 확인되었다.
• 모델은 짧고 미세한 동작(예: 0.3초)에 대해 강력한 일반화 성능을 보이며, 시간적 어텐션이 세밀한 신호를 유지할 수 있음을 보여준다.
• 질의 기반 메커니즘이 외관은 유사하지만 시간적 구조가 다른 동작들을 더 잘 구분할 수 있도록 한다.
• 객체나 배경 정보에 의존하지 않아도 높은 정확도를 달성함으로써, 세밀한 동작 인식의 과제에 대해 강건한 성능을 보인다.