[논문 리뷰] Temporal Distinct Representation Learning for Action Recognition

Junwu Weng, Donghao Luo외 7명|arXiv (Cornell University)|2020. 07. 15.

Human Pose and Action Recognition참고 문헌 34인용 수 7

한 줄 요약

이 논문은 2D-CNN 기반 동작 인식을 위한 접근법을 제안하며, 동영상 프레임 간의 반복적인 특징 추출 문제를 해결하기 위해 점진적 강화 모듈(PEM)과 시간적 다양성 손실(TD Loss)을 도입한다. PEM은 구분 가능한 채널을 적극적으로 강조하는 데에 사용되며, TD Loss는 커널이 프레임 간의 변동성을 포착하도록 유도한다. 이 방법은 최신 기준 성능을 달성하여 Something-Something V1에서 2.4% 향상되고 V2에서는 1.3% 향상되며, Kinetics400에서도 일관된 성능 향상을 보였다.

ABSTRACT

Motivated by the previous success of Two-Dimensional Convolutional Neural Network (2D CNN) on image recognition, researchers endeavor to leverage it to characterize videos. However, one limitation of applying 2D CNN to analyze videos is that different frames of a video share the same 2D CNN kernels, which may result in repeated and redundant information utilization, especially in the spatial semantics extraction process, hence neglecting the critical variations among frames. In this paper, we attempt to tackle this issue through two ways. 1) Design a sequential channel filtering mechanism, i.e., Progressive Enhancement Module (PEM), to excite the discriminative channels of features from different frames step by step, and thus avoid repeated information extraction. 2) Create a Temporal Diversity Loss (TD Loss) to force the kernels to concentrate on and capture the variations among frames rather than the image regions with similar appearance. Our method is evaluated on benchmark temporal reasoning datasets Something-Something V1 and V2, and it achieves visible improvements over the best competitor by 2.4% and 1.3%, respectively. Besides, performance improvements over the 2D-CNN-based state-of-the-arts on the large-scale dataset Kinetics are also witnessed.

연구 동기 및 목표

• 2D-CNN가 영상 프레임을 처리할 때 공유된 커널로 인해 유사한 의미적 채널이 반복적으로 활성화되는 문제를 해결하기 위해.
• 프레임 순서 정보를 명시적으로 활용하고 운동 관련 특징을 강화함으로써 2D-CNN의 시간 모델링 성능을 향상시키기 위해.
• 프레임 간 특징 표현의 다양성을 증진시켜 정적 환경나 배경 특징에 대한 과적합을 줄이기 위해.
• 기준 데이터셋에서 동작 인식 정확도를 크게 향상시키면서도 계산 효율성을 유지하기 위해.

제안 방법

• 운동 이력에서 유도된 특징 채널을 순차적으로 강화하여 반복적인 채널을 억제하는 점진적 강화 모듈(PEM)을 도입한다.
• 동일한 특징 채널 간의 쌍별 코사인 유사도를 최소화함으로써, 커널이 서로 다른 프레임 간의 변동성을 포착하도록 유도하는 시간적 다양성 손실(TD Loss)을 활용한다.
• 시간 모델링 모듈 뒤에 TD Loss를 배치하여 합성 후 특징 표현이 다양하고 구분 가능한 상태를 유지하도록 정규화한다.
• 프레임 수준의 특징 추출 후 시간적 융합을 수행하는 이중 스트림 아키텍처를 사용하며, PEM은 시간 모델링 이전에 특징을 처리한다.
• 추론 오버헤드 없이 학습 중 정규화 항으로 TD Loss를 적용함으로써 모델 효율성을 유지한다.
• TD Loss와 주 분류 손실 간의 균형을 조절하기 위해 학습 가능한 가중 요소 λ를 사용하며, 다양한 값에서의 안정성을 입증한다.

실험 결과

연구 질문

• RQ1 순차적 채널 필터링 메커니즘이 2D-CNN의 운동 관련 특징과 반복적인 배경 특징을 구분하는 능력을 향상시킬 수 있는가?
• RQ2 새로운 손실 함수를 통해 프레임 간 표현 다양성을 강제로 유도하면 모델 복잡도 증가 없이도 동작 인식 성능 향상이 가능한가?
• RQ3 특징 강화 과정에 운동 이력을 통합할 경우, 행동 영상의 시간적 변동성을 구분하는 데 어떤 영향을 미치는가?
• RQ4 제안된 방법이 동작 인식 작업에서 정적 환경 특징에 대한 과적합을 어느 정도 감소시키는가?
• RQ5 손실 균형 조정 요소 λ의 선택에 대해 제안된 방법이 얼마나 강인한가?

주요 결과

• 8프레임 설정에서 Something-Something V1에서 최고의 경쟁자 대비 2.4% 정확도 향상을 달성했다.
• Something-Something V2에서는 가장 강력한 베이스라인 대비 1.3% 성능 향상을 보였다.
• Progressive Enhancement Module(PEM)만으로도 Something-Something V1에서 2.6%의 정확도 향상을 기록하여 반복적인 특징을 걸러내는 데 효과적임을 입증했다.
• Temporal Diversity Loss는 Something-Something V1에서 2.3%의 정확도 향상을 기여하여, 서로 다른 프레임 간 표현 다양성을 증진시키는 데 기여함을 확인했다.
• TD Loss는 하이퍼파rameter 변화에 대해 매우 강인하여 λ 값의 범위에서 정확도 변동이 0.6% 이내로 안정적인 최적화를 보였다.
• 시각화 결과는 PEM이 운동 관련 채널을 강화하고 정적 배경 채널을 억제하는 것으로 확인되었으며, TD Loss는 프레임 간 변동성을 강조함으로써 시간 모델링을 향상시켰다.