[논문 리뷰] Temporal Gaussian Mixture Layer for Videos

AJ Piergiovanni, Michael S. Ryoo|arXiv (Cornell University)|2018. 03. 16.

Human Pose and Action Recognition참고 문헌 29인용 수 9

한 줄 요약

이 논문은 장기적인 시간적 의존성을 비디오에서 모델링하기 위해 가우시안 커널의 혼합을 사용하는 미분 가능하고 파rameter 효율적인 컨볼루션 레이어인 시간적 가우시안 혼합(TGM) 레이어를 제안한다. 이는 모델의 파라미터 수를 늘리지 않고도 장기간의 시간적 맥락을 효과적으로 포착할 수 있게 한다. 제안된 방법은 Charades와 MultiTHUMOS에서 최신 기준(SOTA) 성능을 달성하였으며, 원래의 Charades 로컬라이제이션 설정에서 I3D 및 이전 방법들보다 최대 22.3% mAP 향상된 성능을 기록하였다.

ABSTRACT

We introduce a new convolutional layer named the Temporal Gaussian Mixture (TGM) layer and present how it can be used to efficiently capture longer-term temporal information in continuous activity videos. The TGM layer is a temporal convolutional layer governed by a much smaller set of parameters (e.g., location/variance of Gaussians) that are fully differentiable. We present our fully convolutional video models with multiple TGM layers for activity detection. The extensive experiments on multiple datasets, including Charades and MultiTHUMOS, confirm the effectiveness of TGM layers, significantly outperforming the state-of-the-arts.

연구 동기 및 목표

• 지속적인 비디오 행동 검출에서 장기적인 시간적 의존성을 모델링하는 문제를 해결하기 위해.
• 장기적인 시간적 모델링 성능을 유지하거나 향상시키면서도 시간 컨볼루션 레이어의 학습 가능한 파라미터 수를 줄이기 위해.
• 다양한 시간적 간격에 대해 효율적으로 주의를 기울일 수 있도록, 미분 가능하고 파arameter화된 주의 메커니즘을 사용하는 완전 컨볼루션 비디오 모델을 가능하게 하기 위해.
• Charades와 MultiTHUMOS와 같은 행동 검출 벤치마크에서 더 풍부하고 추상화된 스펙트로-시간 표현을 포착함으로써 성능 향상을 이루기 위해.

제안 방법

• TGM 레이어는 M개의 가우시안 분포로 이루어진 소프트 혼합을 통해 시간 컨볼루션 필터를 구성하며, 각 분포는 위치(평균)와 분산으로 정의되며, 학습 가능한 혼합 가중치를 가진다.
• 이 레이어는 이러한 가우시안 기반 필터를 시간 특징 맵에 적용하여, 동시에 여러 개의 국소적이지 않은 시간 영역에 주의를 기울일 수 있도록 한다.
• TGM 레이어의 파라미터 수는 필터 길이 L과 무관하므로, 파라미터 폭발 없이 장기적인 시간적 모델링이 가능하다.
• TGM 레이어는 완전히 미분 가능하며, 표준 CNN과 함께 역전파를 통한 엔드 투 엔드 학습이 가능하다.
• 이 방법은 I3D 특징 위에 쌓인 완전 컨볼루션 비디오 모델에 통합되며, 여러 개의 TGM 레이어를 통해 시간적 구조의 계층적 모델링이 가능하다.
• 모델은 여러 개의 가우시안 커널을 하나의 효과적인 필터로 조합하기 위해 소프트 주의 메커니즘을 사용하여, 관련 있는 시간 간격에 동적으로 집중할 수 있다.

실험 결과

연구 질문

• RQ1 파라미터 효율적인 시간 컨볼루션 레이어는 지속적인 비디오 행동 검출에서 장기적인 시간적 의존성을 포착할 수 있는가?
• RQ2 TGM 레이어의 필터 길이에 대한 파라미터 독립성은 장시간 활동에 대한 성능에 어떤 영향을 미치는가?
• RQ3 가우시안 혼합 메커니즘은 고정된 크기의 1D 컨볼루션 또는 풀링 레이어보다 더 나은 시간적 모델링을 가능하게 하는가?
• RQ4 TGM 레이어는 I3D, LSTMs, 시간 피라미드 풀링과 같은 최신 기준 방법들을 초월할 수 있는가?
• RQ5 Charades(더 긴 평균 활동 기간)와 MultiTHUMOS(더 짧은 평균 활동 기간)와 같은 다양한 평균 활동 기간을 가진 데이터셋에 모델은 어떻게 적응하는가?

주요 결과

• 원래의 로컬라이제이션 설정에서 TGM 모델은 Charades 데이터셋에서 22.3% mAP를 기록하여, I3D에 초과 이벤트를 사용한 이전 최신 기준인 19.4%를 초월하였다.
• L=30이고 TGM 레이어가 3개일 경우, 모델은 약 800프레임(±15초)의 시간적 맥락을 포착하며, I3D의 ±2초보다 크게 초월한다.
• MultiTHUMOS에서 L=5이고 TGM 레이어가 3개일 경우, 모델은 37.2% mAP를 기록하여 표준 1D 컨볼루션과 다른 베이스라인을 모두 능가하였다.
• 가우시안 주의 메커니즘이 존재함으로써 TGM 레이어의 성능은 큰 L 값에 대해서도 강건하며, 긴 필터를 사용할 경우에도 자연스럽게 관련 있는 시간 영역에 집중한다.
• TGM 레이어가 3개이고 L=30일 경우, MultiTHUMOS에서 33.9% mAP를 기록하여, 단일 TGM 레이어와 모든 L 값에서 1D 컨볼루션보다 뛰어난 성능을 보였다.
• 시각화 결과는 TGM 레이어가 시간 간격의 중심에 집중하는 것을 보여주며, Charades에서는 더 긴 활동에 맞게 넓은 가우시안을 학습하고, MultiTHUMOS에서는 더 짧은 이벤트에 맞게 좁은 가우시안을 학습하는 것으로 나타났다.