[論文レビュー] PV-NAS: Practical Neural Architecture Search for Video Recognition

Zihao Wang, Lin Chen+3 more|arXiv (Cornell University)|Nov 2, 2020

Human Pose and Action Recognition参考文献 41被引用数 7

ひとこと要約

PV-NASは、勾配ベース最適化を用いて効率的に新規な空間時間探索空間を探索する実用的な微分可能ニューラルアーキテクチャ探索フレームワークを提案する。独自の学習率スケジューラーを導入することでアーキテクチャの多様性を向上させ、TSMのような手作業で設計されたモデルを大きく上回る最先端の精度—Kinetics-400で78.7% Top-1、Something-Something V2で62.5%を達成—を実現した。計算コストとモデルパラメータ数が著しく削減された。

ABSTRACT

Recently, deep learning has been utilized to solve video recognition problem due to its prominent representation ability. Deep neural networks for video tasks is highly customized and the design of such networks requires domain experts and costly trial and error tests. Recent advance in network architecture search has boosted the image recognition performance in a large margin. However, automatic designing of video recognition network is less explored. In this study, we propose a practical solution, namely Practical Video Neural Architecture Search (PV-NAS).Our PV-NAS can efficiently search across tremendous large scale of architectures in a novel spatial-temporal network search space using the gradient based search methods. To avoid sticking into sub-optimal solutions, we propose a novel learning rate scheduler to encourage sufficient network diversity of the searched models. Extensive empirical evaluations show that the proposed PV-NAS achieves state-of-the-art performance with much fewer computational resources. 1) Within light-weight models, our PV-NAS-L achieves 78.7% and 62.5% Top-1 accuracy on Kinetics-400 and Something-Something V2, which are better than previous state-of-the-art methods (i.e., TSM) with a large margin (4.6% and 3.4% on each dataset, respectively), and 2) among median-weight models, our PV-NAS-M achieves the best performance (also a new record)in the Something-Something V2 dataset.

研究の動機と目的

• 手動による動画ネットワーク設計の高コストと性能の不十分さに対処すること。
• 動画認識タスクに特化した実用的でスケーラブルなニューラルアーキテクチャ探索手法を開発すること。
• 勾配ベースのNASが動画アーキテクチャ探索中に局所最適解に陥る問題を克服すること。
• 効率的で再現可能かつ高性能な動画モデルの発見を可能にする基準となる探索空間と実装を確立すること。

提案手法

• 空間的および時間的特徴抽出を同時に最適化できるように、4種類のセルタイプ（空間通常セル（S-NC）、空間リダクションセル（S-RC）、時間通常セル（T-NC）、時間リダクションセル（T-RC））を組み合わせたハイブリッド探索空間を設計する。
• アーキテクチャパラメータを連続変数として緩和し、勾配降下法で最適化することで、DARTS風の微分可能アーキテクチャ探索を適用する。
• 20エポックごとに学習率を減衰させる新しい学習率スケジューラーを導入し、早期収束を防ぎ、探索されたアーキテクチャの多様性を促進する。
• 探索空間の連続的緩和を活用することで、エンドツーエンド学習と効率的なアーキテクチャ最適化を実現する。
• 一貫した設定（例：8フレームのクリップ、事前学習なし）でモデルを学習・評価することで、公平な比較と一般化評価を確保する。
• UCF-101を用いた消去実験により、探索戦略の有効性を検証する。具体的には、学習スケジュール、チャネルスケーリング、およびランダムアーキテクチャベースラインの影響を評価する。

実験結果

リサーチクエスチョン

• RQ1 最小限の計算負荷で微分可能NASフレームワークを動画認識に効果的に適応できるか？
• RQ2 動画用に素朴に適用した勾配ベースNASが高精度なアーキテクチャに収束しない理由は何か？最適化ダイナミクスをどのように改善できるか？
• RQ3 空間的および時間的演算を明示的に分離する探索空間は、従来の2Dまたは純粋な時間的設計よりも優れた動画モデルを生み出せるか？
• RQ4 微調整や事前学習なしで、探索されたアーキテクチャが異なるデータセットに一般化できるか？
• RQ5 提案された学習率スケジューラーは、標準的なスケジューラーと比較して、アーキテクチャの多様性と最終的な性能をどのように向上させるか？

主な発見

• PV-NAS-Lは、19.65MパラメータでKinetics-400で78.7% Top-1の精度を達成し、同程度のパラメータ制約下で手作業設計のTSMモデルを4.6%上回った。
• Something-Something V2データセットでは、ImageNet事前学習なしでPV-NAS-Lが62.5% Top-1の精度を達成し、TSMを3.4%上回った。
• PV-NAS-Mは、Kinetics-400で81.4% Top-1の精度を記録し、Something-Something V2でSOTA記録を更新した。SlowFastや他の先行手法を上回った。
• 消去実験の結果、より多くのエポック（例：80エポック）で学習させることで、早期停止よりも高い性能が得られ、学習率スケジュールの有効性が裏付けられた。
• 同じ探索空間からランダムに生成されたネットワークは顕著に性能が低く、性能向上は探索空間の設計そのものではなく、アーキテクチャ探索に起因することが証明された。
• モデルは良好な一般化性能を示した：PV-NAS-Lは事前学習なしでUCF-101にゼロショット転送を実行し、スクラッチから学習させた場合に66.43% Top-1の精度を達成した。