[論文レビュー] Computation-efficient Deep Learning for Computer Vision: A Survey

Yulin Wang, Yizeng Han+4 more|arXiv (Cornell University)|Aug 27, 2023

Advanced Neural Network Applications被引用数 19

ひとこと要約

この調査は、バックボーン設計、ダイナミックネットワーク、タスク特化モデル、モデル圧縮、ハードウェア展開を横断して、計算効率の高い深層学習のコンピュータビジョンを分析します。

ABSTRACT

Over the past decade, deep learning models have exhibited considerable advancements, reaching or even exceeding human-level performance in a range of visual perception tasks. This remarkable progress has sparked interest in applying deep networks to real-world applications, such as autonomous vehicles, mobile devices, robotics, and edge computing. However, the challenge remains that state-of-the-art models usually demand significant computational resources, leading to impractical power consumption, latency, or carbon emissions in real-world scenarios. This trade-off between effectiveness and efficiency has catalyzed the emergence of a new research focus: computationally efficient deep learning, which strives to achieve satisfactory performance while minimizing the computational cost during inference. This review offers an extensive analysis of this rapidly evolving field by examining four key areas: 1) the development of static or dynamic light-weighted backbone models for the efficient extraction of discriminative deep representations; 2) the specialized network architectures or algorithms tailored for specific computer vision tasks; 3) the techniques employed for compressing deep learning models; and 4) the strategies for deploying efficient deep networks on hardware platforms. Additionally, we provide a systematic discussion on the critical challenges faced in this domain, such as network architecture design, training schemes, practical efficiency, and more realistic model compression approaches, as well as potential future research directions.

研究の動機と目的

• 画像、動画、3Dデータのための効率的なバックボーンの設計を検討する（静的および動的を含む）。
• 一般的なCVタスク（例：検出、分割）に対するタスク特化型の効率的モデルを調査する。
• モデル圧縮技術と精度および効率への影響を要約する。
• 実用的な効率のための展開戦略とハードウェア上の考慮事項について検討する。
• 計算効率の高いCV学習における課題と将来の方向性を特定する。

提案手法

• マイクロアーキテクチャ（split-transform-merge、inverted bottlenecks、feature reuse、down-sampling、efficient self-attention）を含むバックボーン設計技術を分析する。
• 畳み込みと注意機構の組み合わせ、深さ・幅のスケーリング、複合的なモデルスケーリングといったマクロアーキテクチャの原則を論じる。
• 計算量および待ち時間認識を備えた自動アーキテクチャ探索（NAS）を説明する。
• 効率的なビデオバックボーン（2D/3Dハイブリッド、(2+1)D、slow-fast）および3Dビジョンバックボーン（point/voxel/multi-view）を要約する。
• 入力適応推論のための動的バックボーン概念（サンプル単位の深さ/幅、早期終了、SuperNetルーティング）を説明する。

実験結果

リサーチクエスチョン

• RQ1 画像、動画、3Dデータのための計算効率の高いバックボーンを生み出す設計戦略は何か？
• RQ2 NASと待機時間認識手法は、実用的で高速なアーキテクチャをどのように生み出せるか？
• RQ3 入力適応型の効率性を実現する動的ネットワークへの有効なアプローチは何か？
• RQ4 精度と効率のバランスを最もよく取る圧縮およびハードウェア展開技術は何か？
• RQ5 実運用可能な計算効率の高いCVモデルにおける今後の課題は何か？

主な発見

• この調査は、静的および動的バックボーン設計、タスク特化型の効率的モデル、圧縮手法、およびハードウェア展開戦略を統合している。
• split-transform-mergeのパラダイムとその進化、 inversion bottlenecksとfeature reuseをコアの効率性概念として強調している。
• NASと latency-aware NAS を効率的なアーキテクチャへの実用的な道として議論している。
• ビデオおよび3Dビジョンの効率的なバックボーンをレビューしており、2D/3Dのハイブリッドやマルチビューアプローチを含む。
• アーキテクチャ設計、トレーニングスキーム、実用的な効率、現実的な圧縮アプローチにおける課題を特定し、今後の方向性を示している。