[논문 리뷰] Adaptive Focus for Efficient Video Recognition

Yulin Wang, Zhaoxi Chen외 4명|arXiv (Cornell University)|2021. 05. 07.

Human Pose and Action Recognition참고 문헌 59인용 수 4

한 줄 요약

이 논문은 전체 프레임을 처리하는 대신 각 프레임에서 작업에 관련된 작은 이미지 패치를 적응적으로 선택함으로써 효율적인 비디오 인식을 위한 강화학습 기반 방법인 AdaFocus를 제안한다. 이 방법은 동적 패치에 계산 자원을 집중하고, 국소화 및 인식에 모두 동일한 전역 특징을 재사용함으로써, AR-Net과 같은 최신 기준(SOTA) 기반 모델 대비 2–3배의 FLOPs 절감을 이룬다. 이는 ActivityNet, Something-Something 등 다섯 개의 벤치마크 데이터셋에서 정확도를 유지하거나 향상시키며 달성된다.

ABSTRACT

In this paper, we explore the spatial redundancy in video recognition with the aim to improve the computational efficiency. It is observed that the most informative region in each frame of a video is usually a small image patch, which shifts smoothly across frames. Therefore, we model the patch localization problem as a sequential decision task, and propose a reinforcement learning based approach for efficient spatially adaptive video recognition (AdaFocus). In specific, a light-weighted ConvNet is first adopted to quickly process the full video sequence, whose features are used by a recurrent policy network to localize the most task-relevant regions. Then the selected patches are inferred by a high-capacity network for the final prediction. During offline inference, once the informative patch sequence has been generated, the bulk of computation can be done in parallel, and is efficient on modern GPU devices. In addition, we demonstrate that the proposed method can be easily extended by further considering the temporal redundancy, e.g., dynamically skipping less valuable frames. Extensive experiments on five benchmark datasets, i.e., ActivityNet, FCVID, Mini-Kinetics, Something-Something V1&V2, demonstrate that our method is significantly more efficient than the competitive baselines. Code is available at https://github.com/blackfeather-wang/AdaFocus.

연구 동기 및 목표

• 전력, 지연, 탄소 배출 제약로 인해 실세계 적용이 제한되는 비디오 인식 모델의 높은 계산 비용을 해결하기 위해.
• 비디오 프레임 내에서 인식에 의미 있는 기여를 하는 작은 영역만이 존재하는 공간적 부재를 활용하여, 이러한 영역에 계산 자원을 집중함으로써.
• 강화학습을 사용해 각 프레임마다 관련성이 높은 공간 영역을 적응적으로 국소화하는 방법을 개발함으로써, 정확도를 훼손하지 않은 채 효율적인 추론을 가능하게 하기 위해.
• 시간적 부재를 동시에 활용하기 위해 동적으로 정보가 적은 프레임을 건너뛰는 방식으로 프레임워크를 확장함으로써, 추가적인 효율성 향상을 위해.
• TSM과 같은 최신 기준 모델들과의 호환성을 입증함으로써, 아키텍처의 전반적인 개편 없이도 효율성 향상을 달성할 수 있도록 하기 위해.

제안 방법

• 각 비디오 프레임에서 저비용으로 추출할 수 있는 간단한 전역 컨볼루션 네트워크를 사용해 군집화된 특징을 추출하고, 이를 정책 학습의 입력으로 활용한다.
• 강화학습을 통해 순환 정책 네트워크를 훈련시켜, 작업의 관련성에 기반해 각 프레임에서 최적의 공간 패치(위치 및 크기)를 결정한다.
• 패치 선택과 최종 인식에 모두 동일한 전역 특징을 재사용함으로써, 중복을 줄이고 계산량을 감소시킨다.
• 선택된 패치에만 고용량의 국소 CNN을 적용하여 세부 특징 추출 및 분류를 수행한다.
• AdaFocus+에서는 추가로 정보가 적은 프레임을 건너뛰는 데 사용할 정책 네트워크를 도입하여, 공간적 및 시간적 부재를 동시에 활용한다.
• 강화학습의 보상 함수를 특별히 설계하여 예측 신뢰도 향상을 최대화함으로써, 가장 분류에 유의미한 영역을 선택하도록 정책을 이끌어낸다.

실험 결과

연구 질문

• RQ1 비디오 프레임 내의 공간적 부재를 효과적으로 활용하여, 정확도 저하 없이 비디오 인식의 계산 비용을 줄일 수 있는가?
• RQ2 적응형 패치 선택을 위한 강화학습 기반 접근법이 고정 또는 히우리스틱 패치 선택 전략보다 우월한가?
• RQ3 제안된 방법을 정보가 적은 프레임을 건너뛰는 방식으로 확장하여 계산량을 추가로 줄일 수 있으며, 이는 효율성과 정확도에 어떤 영향을 미치는가?
• RQ4 국소화와 인식에 모두 동일한 전역 특징을 재사용할 경우, 모델의 효율성과 성능에 어떤 영향을 미치는가?
• RQ5 AdaFocus는 TSM과 같은 기존 최신 기준 모델의 아키텍처를 변경하지 않고 얼마나 효율성을 향상시킬 수 있는가?

주요 결과

• AdaFocus는 AR-Net 대비 ActivityNet, FCVID, Mini-Kinetics, Something-Something V1&V2에서 동일하거나 더 높은 정확도를 확보하면서 FLOPs를 2–3배 감소시켰다.
• Something-Something V1에서 AdaFocus는 TSM+와 동일한 mAP를 달성했지만, GFLOPs는 1.5배 적게 사용하여 뚜렷한 효율성 향상을 입증했다.
• GPU(NVIDIA 2080Ti)에서 실질적인 속도 향상이 크게 발생했으며, 이는 이론적 FLOP 감소 비율과 거의 일치하여 하드웨어 효율성도 높음을 보여주었다.
• 학습된 정책은 랜덤, 중심, 가우시안 등 고정 정책보다 1.5–2% 높은 mAP 성능을 보이며 강화학습 기반 적응의 효과를 입증했다.
• 국소화와 인식에 전역 특징을 재사용함으로써 정확도 저하가 오직 1–1.5%에 그쳐, 이 방법의 효율성과 견고성을 확인할 수 있었다.
• AdaFocus+는 동적으로 프레임을 건너뛰는 방식으로 추가로 효율성을 향상시켰으며, 시간적 부재 감소 기법과의 호환성도 입증했다.