[논문 리뷰] PV-NAS: Practical Neural Architecture Search for Video Recognition

Zihao Wang, Lin Chen외 3명|arXiv (Cornell University)|2020. 11. 02.

Human Pose and Action Recognition참고 문헌 41인용 수 7

한 줄 요약

PV-NAS는 비디오 인식을 위한 실용적인 미분 가능 신경망 아키텍처 탐색 프레임워크를 제안하며, 기울기 기반 최적화를 통해 새로운 시공간 탐색 공간을 효율적으로 탐색합니다. 맞춤형 학습률 스케줄러를 도입하여 아키텍처의 다양성을 향상시킴으로써, PV-NAS는 계산 비용과 모델 파라미터 수를 크게 줄였음에도 불구하고 최신 기준 성능을 달성합니다 — Kinetics-400에서 Top-1 78.7%, Something-Something V2에서 62.5%를 기록하며 수작업 설계된 TSM 모델을 뛰어넘습니다.

ABSTRACT

Recently, deep learning has been utilized to solve video recognition problem due to its prominent representation ability. Deep neural networks for video tasks is highly customized and the design of such networks requires domain experts and costly trial and error tests. Recent advance in network architecture search has boosted the image recognition performance in a large margin. However, automatic designing of video recognition network is less explored. In this study, we propose a practical solution, namely Practical Video Neural Architecture Search (PV-NAS).Our PV-NAS can efficiently search across tremendous large scale of architectures in a novel spatial-temporal network search space using the gradient based search methods. To avoid sticking into sub-optimal solutions, we propose a novel learning rate scheduler to encourage sufficient network diversity of the searched models. Extensive empirical evaluations show that the proposed PV-NAS achieves state-of-the-art performance with much fewer computational resources. 1) Within light-weight models, our PV-NAS-L achieves 78.7% and 62.5% Top-1 accuracy on Kinetics-400 and Something-Something V2, which are better than previous state-of-the-art methods (i.e., TSM) with a large margin (4.6% and 3.4% on each dataset, respectively), and 2) among median-weight models, our PV-NAS-M achieves the best performance (also a new record)in the Something-Something V2 dataset.

연구 동기 및 목표

• 수작업 기반 비디오 네트워크 설계의 높은 계산 비용과 열등한 성능 문제를 해결하기 위해.
• 비디오 인식 작업에 특화된 실용적이고 확장 가능한 신경망 아키텍처 탐색 방법을 개발하기 위해.
• 기울기 기반 NAS가 비디오 아키텍처 탐색 중 국소 최적해에 갇히는 문제를 해결하기 위해.
• 효율적이고 재현 가능하며 고성능의 비디오 모델 탐색을 가능하게 하는 기준 탐색 공간과 구현을 구축하기 위해.

제안 방법

• 공간적 및 시간적 특징 추출을 동시에 최적화하기 위해 네 가지 셀 유형을 조합한 하이브리드 탐색 공간을 설계: 공간 정상 셀(S-NC), 공간 압축 셀(S-RC), 시간 정상 셀(T-NC), 시간 압축 셀(T-RC).
• 아키텍처 파라미터를 연속 변수로 연속화하고 기울기 하강법을 통해 최적화함으로써, DARTS 방식의 미분 가능 아키텍처 탐색을 적용.
• 조기 수렴을 방지하고 탐색된 아키텍처의 다양성을 증진하기 위해 매 20 에포크마다 학습률을 감소시키는 새로운 학습률 스케줄러 도입.
• 탐색 공간의 연속적 리미터를 사용하여 엔드 투 엔드 학습과 효율적인 아키텍처 최적화를 가능하게 함.
• 공정한 비교와 일반화 평가를 위해 일관된 설정(예: 8프레임 클립, 사전학습 미사용) 하에서 모델을 학습하고 평가.
• UCF-101에서 아키텍처 탐색 전략의 유효성을 검증하기 위해, 학습 스케줄, 채널 스케일링, 무작위 아키텍처 기반 베이스라인 등의 분석을 수행.

실험 결과

연구 질문

• RQ1 최소한의 계산 오버헤드로 미분 가능 NAS 프레임워크를 비디오 인식에 효과적으로 적용할 수 있는가?
• RQ2 비디오에 대한 순수한 기울기 기반 NAS가 고성능 아키텍처로 수렴하지 못하는 이유는 무엇이며, 최적화 역학을 어떻게 개선할 수 있는가?
• RQ3 공간적 및 시간적 연산을 명시적으로 분리한 탐색 공간이 기존의 2D 또는 순수 시간적 설계보다 더 나은 비디오 모델을 도출할 수 있는가?
• RQ4 사전학습 또는 미세조정 없이도 탐색된 아키텍처가 다양한 데이터셋에 일반화되는가?
• RQ5 제안된 학습률 스케줄러가 표준 스케줄과 비교해 아키텍처의 다양성과 최종 성능을 어떻게 향상시키는가?

주요 결과

• PV-NAS-L은 파라미터 수 1965만 개로 Kinetics-400에서 Top-1 정확도 78.7%를 달성하며, 유사한 파라미터 제약 조건에서 수작업 설계된 TSM 모델보다 4.6% 높은 성능을 기록합니다.
• Something-Something V2 데이터셋에서 PV-NAS-L은 ImageNet 사전학습 없이도 Top-1 정확도 62.5%를 달성하며, TSM을 3.4% 초월합니다.
• PV-NAS-M는 Kinetics-400에서 81.4%의 Top-1 정확도로 Something-Something V2에서 새로운 SOTA 기록을 수립하며, SlowFast 및 이전의 다른 방법들을 뛰어넘습니다.
• 분석 결과, 더 많은 에포크(예: 80) 동안 학습하는 것이 조기 정지보다 성능 향상에 기여함을 확인하여, 학습률 스케줄의 효과성을 입증합니다.
• 동일한 탐색 공간에서 무작위로 생성된 네트워크는 성능이 뚜렷이 열등하여, 성능 향상 요인이 아키텍처 탐색 자체에 기인함을 입증합니다.
• 모델은 잘 일반화됨: PV-NAS-L은 사전학습 없이도 UCF-101에서 66.43%의 Top-1 정확도를 기록하며, 초기화 상태에서 학습을 시작했을 때도 강력한 제로샷 전이 성능을 보입니다.