[논문 리뷰] Motion Feature Network: Fixed Motion Filter for Action Recognition

Myunggi Lee, Seungeui Lee외 3명|arXiv (Cornell University)|2018. 07. 26.

Human Pose and Action Recognition참고 문헌 24인용 수 4

한 줄 요약

이 논문은 고정된 방향성 필터를 사용하여 RGB 프레임에서 직접 시공간 특징을 인코딩하는 학습 가능한 운동 블록을 갖춘 통합된 2D CNN 아키텍처인 MFNet을 제안한다. 이는 광학 흐름이나 3D 컨볼루션을 필요로 하지 않으며, 사전 훈련 없이 미리 훈련된 이미지넷 가중치 없이도 Jester(96.22% top-1 정확도)와 Something-Something(37.48% top-1 정확도)에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Spatio-temporal representations in frame sequences play an important role in the task of action recognition. Previously, a method of using optical flow as a temporal information in combination with a set of RGB images that contain spatial information has shown great performance enhancement in the action recognition tasks. However, it has an expensive computational cost and requires two-stream (RGB and optical flow) framework. In this paper, we propose MFNet (Motion Feature Network) containing motion blocks which make it possible to encode spatio-temporal information between adjacent frames in a unified network that can be trained end-to-end. The motion block can be attached to any existing CNN-based action recognition frameworks with only a small additional cost. We evaluated our network on two of the action recognition datasets (Jester and Something-Something) and achieved competitive performances for both datasets by training the networks from scratch.

연구 동기 및 목표

• 행동 인식에서 이중 스트림 및 3D CNN 방법의 높은 계산 비용과 복잡성을 해결하기 위해.
• 광학 흐름을 사전 계산하지 않고도 RGB 입력만으로 시공간 특징을 엔드 투 엔드로 학습할 수 있도록 하기 위해.
• 기존 2D CNN 프레임워크에 최소한의 오버헤드로 통합할 수 있는 경량이고 모듈화된 운동 블록을 설계하기 위해.
• 공간적 단서만으로는 충분하지 않은 세밀하고 시간적으로 대칭적인 행동이 있는 행동 인식 데이터셋에서 성능을 향상시키기 위해.
• 추가적인 모odal 감독 없이도 운동 방향성과 시간적 다이내믹스를 효과적으로 포착할 수 있는 운동 블록의 유효성을 검증하기 위해.

제안 방법

• 연속된 RGB 프레임의 특징 맵에 고정된 방향성 필터(예: 수평, 수직, 대각선)를 적용하는 운동 블록을 도입한다.
• 학습된 파rameter 없이 원본 특징 맵에서 이동된 특징 맵을 빼는 방식으로 운동 특징을 계산하며, 광학 흐름을 모방하지만 학습되지 않는다.
• 운동 블록을 2D CNN 기반(예: ResNet)에 플러그인 모듈로 통합하여 엔드 투 엔드 훈련이 가능하게 한다.
• RGB 입력만을 사용하는 두 스트림 유사 추론 전략을 채택하나, 세그먼트 단위의 특징 집합을 사용한다.
• 공유된 특징 추출기로 공간적 특징을 추출하고, 별도의 운동 블록으로 시간적 모델링을 수행하며, 둘 다 공동으로 훈련된다.
• 세그먼트에 걸쳐 시간 평균 풀링을 적용하여 특징을 집계함으로써, 아키텍처 변경 최소화로 분류가 가능하게 한다.

실험 결과

연구 질문

• RQ1 학습되지 않은 고정된 운동 필터가 비디오 행동 인식에서 시공간 다이내믹스를 효과적으로 포착할 수 있는가?
• RQ2 RGB 전용 입력에서 사전 훈련 없이 훈련된 통합된 2D CNN 아키텍처가 운동 블록을 갖추면, 이중 스트림 또는 3D CNN 기반 모델보다 성능이 뛰어나게 되는가?
• RQ3 제안된 운동 블록이 '왼쪽으로 스와이프' 대비 '오른쪽으로 스와이프'와 같은 시간적으로 대칭적인 행동 쌍을 구분하는 데 어떻게 기여하는가?
• RQ4 추론에 가장 적합한 세그먼트 수는 얼마이며, 이는 훈련 시 사용된 수와 어떻게 관련되는가?
• RQ5 사전에 대규모 데이터셋에서 훈련하지 않고도, 운동 블록이 다양한 행동 인식 데이터셋 간에 효과적으로 전이되거나 일반화될 수 있는가?

주요 결과

• MFNet은 Jester 테스트 세트에서 96.22%의 top-1 정확도를 달성하여, 광학 흐름이나 사전 훈련된 ImageNet 가중치를 사용하지 않은 이전 방법들을 능가한다.
• Something-Something 데이터셋에서 MFNet은 공식 랭킹에서 37.48%의 top-1 정확도를 기록하여 세밀한 행동 인식에서 뛰어난 성능을 보였다.
• 시간적으로 대칭적인 행동 쌍의 오분류가 크게 감소했다. 예를 들어, '앞으로 손 끼얹기' 예측 중 '뒤로 손 끼얹기'로 잘못 분류된 비율은 기준 모델 대비 35.7%에서 MFNet에서는 4.2%로 감소했다.
• 검증 세그먼트 수가 많아질수록 성능이 향상되었으며, K=7에서 최고 성능를 기록했다. 그러나 최적의 수는 훈련 시 사용된 K보다 略로 높아, 더 세밀한 시간 샘플링의 이점이 있음을 시사한다.
• 절단 분석 결과, 운동 블록이 성능에 상당한 기여를 하며, 특히 방향성 구분에 있어 사전 훈련이나 다중 스케일 융합 없이도 효과적임을 확인했다.
• 2D 컨볼루션 네트워크 기반과 고정 필터 덕분에 3D 컨볼루션 네트워크 및 이중 스트림 모델보다 파라미터 수가 적고 계산 비용이 낮아져 경쟁적인 성능를 달성했다.