[논문 리뷰] Multi-Fiber Networks for Video Recognition

Yunpeng Chen, Yannis Kalantidis외 3명|arXiv (Cornell University)|2018. 07. 30.

Human Pose and Action Recognition참고 문헌 29인용 수 13

한 줄 요약

이 논문은 계산 비용을 최대 10배까지 줄일 수 있는 희박하게 연결된 3D CNN 아키텍처인 멀티파이버 네트워크(MF-Net)를 제안한다. 깊이 있는 네트워크를 다수의 경량이고 독립적인 파이버로 분할함으로써, 이는 교차 파이버 정보 흐름을 위한 경량 멀티플렉서 모듈을 통합함으로써 UCF-101, HMDB-51, Kinetics에서 최신 기준(SOTA) 정확도를 달성한다. I3D 대비 9배, R(2+1)D 대비 13배의 계산량을 사용하면서도 높은 성능 유지를 이룬다.

ABSTRACT

In this paper, we aim to reduce the computational cost of spatio-temporal deep neural networks, making them run as fast as their 2D counterparts while preserving state-of-the-art accuracy on video recognition benchmarks. To this end, we present the novel Multi-Fiber architecture that slices a complex neural network into an ensemble of lightweight networks or fibers that run through the network. To facilitate information flow between fibers we further incorporate multiplexer modules and end up with an architecture that reduces the computational cost of 3D networks by an order of magnitude, while increasing recognition performance at the same time. Extensive experimental results show that our multi-fiber architecture significantly boosts the efficiency of existing convolution networks for both image and video recognition tasks, achieving state-of-the-art performance on UCF-101, HMDB-51 and Kinetics datasets. Our proposed model requires over 9x and 13x less computations than the I3D and R(2+1)D models, respectively, yet providing higher accuracy.

연구 동기 및 목표

• 현재 대규모 응용 분야에서의 활용을 제한하고 있는 영상 인식을 위한 3D 합성곱 신경망의 높은 계산 비용을 줄이기 위해.
• FLOPs를 극적으로 낮추면서도 영상 벤치마크에서 최신 기준 정확도를 유지하거나 향상시키기 위해.
• 표준 3D CNN은 클립당 100 GFLOPs 이상을 요구하는 반면, 2D 네트워크는 10~15 GFLOPs 수준이므로, 이들의 비효율성을 해결하기 위해.
• 이미지 및 영상 인식 작업에 모두 적용 가능한 일반적인 효율적인 아키텍처를 개발하기 위해.
• 스패티오템포럴 추론을 활용하여 동일한 계산 비용에서 클립 기반 모델이 프레임 기반 모델을 초월하는 정확도를 달성하기 위해.

제안 방법

• 멀티파이버 아키텍처는 깊이 있는 3D CNN을 N개의 독립적이고 경량인 파이버로 분해하여, 각 파이버가 채널의 부분 집합을 처리함으로써 FLOPs를 약 N배 줄인다.
• 각 잔차 블록은 파이버 간의 제어된 정보 공유를 가능하게 하는 멀티플렉서 모듈을 통합하여, 최소한의 계산 오버헤드로 표현 능력을 향상시킨다.
• 멀티플렉서는 학습 가능한 라우팅 메커니즘을 사용하여 파이버 간의 특징을 선택적으로 집계함으로써 특징의 다양성과 모델의 표현력을 향상시킨다.
• 이 아키텍처는 2D 및 3D CNN 모두에 적용되며, 3D 버전은 엔드 투 엔드 영상 동작 인식을 위해 설계되었다.
• 멀티플렉서는 네트워크의 나머지 부분과 함께 공동으로 학습되며, 표준 최적화 방법을 사용해 엔드 투 엔드로 훈련된다.
• 이 방법은 ResNet과 같은 기존 백본 아키텍처와 호환되며, 컴팩트 모델에 통합되어 성능을 향상시킬 수 있다.

실험 결과

연구 질문

• RQ1 희박하게 연결된 3D CNN 아키텍처가 상당히 낮은 FLOPs로 최신 기준 영상 인식 정확도를 달성할 수 있는가?
• RQ2 멀티플렉서 모듈이 파이버 간 독립성으로 인해 손실된 표현 능력을 얼마나 효과적으로 복원하는가?
• RQ3 멀티파이버 설계가 이미지 및 영상 인식 작업 모두에서 효율성과 정확도 향상에 일반화될 수 있는가?
• RQ4 제안된 아키텍처가 I3D 및 R(2+1)D와 같은 기존 3D CNN보다 정확도와 계산 효율성 측면에서 뛰어나게 성능을 내는가?
• RQ5 모델의 실패 모드는 행동 지속 시간이나 물체의 구분 가능성과 같은 영상 콘텐츠 특성과 어떻게 관련이 있는가?

주요 결과

• MF-Net은 UCF-101에서 11.1 GFLOPs로 96.0%의 Top-1 정확도를 달성하여, I3D(152.4 GFLOPs)와 R(2+1)D-34(130.5 GFLOPs)보다 정확도와 효율성 측면에서 모두 뛰어나다.
• HMDB-51에서 MF-Net은 74.6%의 Top-1 정확도를 기록하여, RGB 프레임만을 사용하는 2D CNN보다 15.5%포인트 향상되었으며, 옵티컬 플로우를 사용하는 방법보다도 5% 이상 높다.
• I3D 대비 9배 이상, R(2+1)D 대비 13배 이상의 계산 비용을 절감하면서도 정확도를 유지하거나 초월한다.
• Res3D(85.8%) 대비 10% 이상의 Top-1 정확도 향상을 기록했으며, FLOPs는 42% 적게(19.3 GFLOPs 대비 11.1 GFLOPs) 사용한다.
• Kinetics에서 400개 카테고리 중 190개가 80% 이상의 정확도를 기록했고, 349개 카테고리가 50%를 초과하여 다양한 행동에 대한 강력한 일반화 능력을 보였다.
• 실패 케이스는 주로 짧은 지속 시간의 행동이나 구분 가능한 물체가 없는 영상과 관련이 있으며, 일시적 또는 모호한 운동을 포착하는 데 한계가 있음을 확인했다.