[논문 리뷰] Deep Analysis of CNN-based Spatio-temporal Representations for Action Recognition

Chun-Fu Chen, Rameswar Panda외 5명|arXiv (Cornell University)|2020. 10. 22.

Human Pose and Action Recognition참고 문헌 76인용 수 13

한 줄 요약

이 논문은 여러 벤치마크에서 300개 이상의 모델을 분석하면서 2D 및 3D CNN 기반 행동 인식 모델 간의 공정한 비교를 위한 통합 프레임워크를 제시한다. 분석 결과, 효율성은 크게 향상되었지만 정확도 향상은 정체되어 있으며, 아키텍처의 차이에도 불구하고 2D 및 3D 모델이 유사한 시공간 표현 학습 능력과 이식 가능성(transferability)을 보이고 있음을 밝혀냈다.

ABSTRACT

In recent years, a number of approaches based on 2D or 3D convolutional neural networks (CNN) have emerged for video action recognition, achieving state-of-the-art results on several large-scale benchmark datasets. In this paper, we carry out in-depth comparative analysis to better understand the differences between these approaches and the progress made by them. To this end, we develop an unified framework for both 2D-CNN and 3D-CNN action models, which enables us to remove bells and whistles and provides a common ground for fair comparison. We then conduct an effort towards a large-scale analysis involving over 300 action recognition models. Our comprehensive analysis reveals that a) a significant leap is made in efficiency for action recognition, but not in accuracy; b) 2D-CNN and 3D-CNN models behave similarly in terms of spatio-temporal representation abilities and transferability. Our codes are available at https://github.com/IBM/action-recognition-pytorch.

연구 동기 및 목표

• 보조 구성 요소를 제거함으로써 2D 및 3D CNN 기반 행동 인식 모델 간의 공정한 벤치마크 설정을 위한 목적.
• 행동 인식에서 2D 및 3D CNN의 상대적 성능 및 표현 학습 능력 탐구.
• 대규모 비디오 데이터셋에서 최근 모델들의 정확도 및 효율성 향상 정도 평가.
• 다양한 아키텍처에서 학습된 시공간 표현의 이식 가능성 및 일반화 잠재력 분석.

제안 방법

• 모델별 최적화 및 추가 기능을 제거하고 2D 및 3D CNN 모델 간 직접 비교를 가능하게 하는 통합 훈련 및 평가 프레임워크 개발.
• Kinetics, Something-Something, Moments in Time 등을 포함한 여러 대규모 비디오 벤치마크에서의 훈련 및 평가를 지원하는 프레임워크.
• 아키텍처, 시간적 집계 방법, 훈련 프로토콜 등을 다양화하여 300개 이상의 모델을 대상으로 대규모 분석 실험 실시.
• FLOPs 및 메모리 사용량을 통해 효율성 평가하고, 하류 작업에서의 제로샷 전이 및 피니팅을 통해 표현 품질 평가.
• 이미지넷 및 키티네스 사전 훈련 가중치를 사용해 전이 학습 성능 평가하고, 데이터 효율성 평가를 위해 초기화 없이 훈련하는 방식 분석.
• 시간적 집계 모듈에 대한 세부적인 분석을 통해 정확도 및 계산 비용에 미치는 영향 평가.

실험 결과

연구 질문

• RQ1 공정한 비교 환경에서 2D 및 3D CNN 기반 모델은 시공간 표현 학습 능력 측면에서 어떻게 비교될 수 있는가?
• RQ2 최근 모델들은 정확도 대비 효율성 향상에 얼마나 진전되었으며, 두 요소 간의 상충 관계가 존재하는가?
• RQ3 2D 및 3D 모델의 경우, 다양한 행동 인식 벤치마크 간에 학습된 표현의 이식 가능성은 어느 정도인가?
• RQ4 다양한 시간적 집계 전략은 모델 성능 및 계산 비용에 어떤 영향을 미치는가?
• RQ5 모든 다른 요소가 동일한 조건에서 제어될 때, 3D CNN은 2D CNN에 비해 시공간 동역학을 모델링하는 데 근본적인 이점을 제공하는가?

주요 결과

• 모델의 효율성 향상이 크게 이루어졌으며, FLOPs 및 메모리 사용량이 감소했지만, 이는 정확도 향상과 비례하지는 않았다.
• 2D 및 3D CNN 모델은 다양한 벤치마크에서 시공간 표현 학습 능력과 이식 가능성 측면에서 거의 동일한 성능를 보였다.
• 모델이 동일한 설정에서 훈련될 경우 2D 및 3D 모델 간 성능 격차가 줄어들며, 이는 아키텍처의 차이만으로는 일관된 이점이 없음을 시사한다.
• 시간적 집계 모듈은 모델의 효율성에 큰 영향을 미치며, 일부 구성에서는 FLOPs를 최대 50%까지 감소시키면서도 정확도는 유사하게 유지할 수 있었다.
• Kinetics와 같은 대규모 데이터셋에서 사전 훈련하면 제로샷 전이 성능이 향상되지만, 2D 및 3D 아키텍처 간 성과 향상 정도는 유사했다.
• 초기화 없이 훈련하는 방식을 통해 2D 모델이 더 적은 파라미터와 계산 자원으로도 경쟁 가능한 정확도를 달성함을 확인했으며, 이는 3D CNN이 표현 능력 측면에서 본질적으로 열등하지 않음을 시사한다.