[논문 리뷰] Can An Image Classifier Suffice For Action Recognition?

Quanfu Fan, Chun-Fu외 2명|arXiv (Cornell University)|2021. 06. 26.

Human Pose and Action Recognition인용 수 9

한 줄 요약

이 논문은 동작 인식을 재정의하는 SIFAR(Super Image for Action Recognition)를 제안한다. 이 방법은 영상 프레임을 슈퍼 이미지로 변환하여 사전 훈련된 이미지 분류기의 직접적 적용을 가능하게 하며, 전용의 시공간 모델링 없이도 동작 인식을 수행한다. 2D 슈퍼 이미지 레이아웃으로 프레임을 재배열함으로써 Swin Transformer 및 ResNet 기반 모델은 Kinetics400, SSV2 및 기타 벤치마크에서 최신 기술 수준 또는 경쟁력 있는 성능을 달성한다. 이는 시공간 패턴이 공간적으로 임bedded될 경우 이미지 분류기만으로도 동작 인식이 충분함을 보여준다.

ABSTRACT

We explore a new perspective on video understanding by casting the video recognition problem as an image recognition task. Our approach rearranges input video frames into super images, which allow for training an image classifier directly to fulfill the task of action recognition, in exactly the same way as image classification. With such a simple idea, we show that transformer-based image classifiers alone can suffice for action recognition. In particular, our approach demonstrates strong and promising performance against SOTA methods on several public datasets including Kinetics400, Moments In Time, Something-Something V2 (SSV2), Jester and Diving48. We also experiment with the prevalent ResNet image classifiers in computer vision to further validate our idea. The results on both Kinetics400 and SSV2 are comparable to some of the best-performed CNN approaches based on spatio-temporal modeling. Our source codes and models are available at https://github.com/IBM/sifar-pytorch.

연구 동기 및 목표

• 전용의 시공간 모듈이 없는 상태에서 이미지 분류기가 영상 동작 인식에 직접 재사용될 수 있는지 조사하기 위해.
• 영상의 시간적 의존성이 슈퍼 이미지로 프레임을 공간적으로 재배열함으로써 효과적으로 모델링될 수 있는지 탐색하기 위해.
• 슈퍼 이미지 프레임워크 하에서 비전 트랜스포머 및 CNN 기반 이미지 분류기의 성능을 평가하기 위해.
• 슈퍼 이미지 레이아웃, 위치 임베딩, 프레임 순서가 모델 정확도에 미치는 영향을 규명하기 위해.
• 최신 이미지 인식 기술을 최소한의 아키텍처 변경으로 영상 이해에 재사용할 수 있는지 평가하기 위해.

제안 방법

• 시공간 패턴을 공간적 특징으로 인코딩하기 위해 정해진 공간 레이아웃을 사용해 입력 영상 프레임을 2D 슈퍼 이미지로 재배열하기.
• 표준 이미지 분류 손실을 사용해 사전 훈련된 이미지 분류기(Swin Transformer 또는 ResNet 등)를 슈퍼 이미지에서 직접 동작 인식을 위해 훈련하기.
• 슈퍼 이미지 내에서 장거리 시간적 모델링을 향상시키기 위해 최종 레이어에서 전체 자기주의를 가능하게 하여 Swin Transformer를 수정하기.
• 공간적 국소화를 향상시키기 위해 슈퍼 이미지의 프레임에 절대 위치 임베딩(APE)을 적용하고, 그 영향을 평가하기 위해 추론 분석을 수행하기.
• 추가적인 잔차 블록에서 3×3 컨볼루션을 더 큰 커널(예: 7×7, 11×11, 21×21)으로 교체하여 CNN의 수신장(receptive field)을 확장함으로써 시간적 모델링 향상시키기.
• 예측된 동작에 대한 모델 주의 메커니즘을 시각화하고 해석하기 위해 클래스 활성화 맵 (CAM) 및 추론 CAM를 사용하기.

실험 결과

연구 질문

• RQ1 영상 프레임으로 구성된 슈퍼 이미지에 표준 이미지 분류기를 직접 적용했을 때 강력한 성능을 내는가?
• RQ2 슈퍼 이미지 내 프레임의 공간 레이아웃이 모델이 시간적 역학을 포착하는 데 미치는 영향은 무엇인가?
• RQ3 절대 위치 임베딩의 포함 여부가 성능 향상에 기여하는가? 이 효과는 다양한 데이터셋에서 일관된가?
• RQ4 특히 Something-Something V2와 같은 세분화된 동작 데이터셋에서 모델의 입력 프레임 순서에 대한 민감도는 어떠한가?
• RQ5 더 큰 커널 크기를 통해 수신장을 확장함으로써 CNN 기반 이미지 분류기가 동작 인식에서 경쟁력을 확보할 수 있는가?

주요 결과

• Swin Transformer 기반 SIFAR는 Kinetics400 및 SSV2에서 최신 기술 수준의 성능을 달성했으며, 전용 시공간 모델링을 사용하는 기존 최신 기술 수준의 방법들을 능가하거나 동등하게 성능을 내었다.
• ResNet 기반 SIFAR 모델은 Kinetics400에서 경쟁력 있는 성능을 기록했으며, 추가 잔차 블록에 21×21 커널을 사용했을 때 원본 ResNet50 대비 5.0%의 절대적 성능 향상을 달성했다.
• SSV2에서 입력 프레임 순서가 뒤집히거나 무작위화되면 SIFAR의 성능이 크게 떨어지며, 이는 세분화된 동작 인식에서 시간적 순서가 중요하다는 것을 시사한다.
• 격자 레이아웃이 가장 높은 성능를 보였고, 스트립 레이아웃은 가장 낮은 성능를 보였으며, 이는 프레임의 공간 배치가 시간 패턴 인코딩에 영향을 준다는 것을 확인한다.
• 절대 위치 임베딩은 SSV2에서는 정확도를 약간 향상시키지만, Kinetics400에서는 성능을 저하시키며, 이는 그 유용성이 데이터셋에 따라 다름을 시사한다.
• 추론 CAM 시각화 결과 SIFAR가 동작 관련 객체와 운동 영역(예: 허니후프 또는 축구공)에 주의를 기울이는 것을 확인했으며, 이는 모델의 해석 가능성과 특징 학습 능력을 검증한다.