[論文レビュー] Efficient Deformable ConvNets: Rethinking Dynamic and Sparse Operator for Vision Applications

Yuwen Xiong, Zhiqi Li+11 more|arXiv (Cornell University)|Jan 11, 2024

Advanced Neural Network Applications被引用数 9

ひとこと要約

DCNv4を導入した、ソフトマックス正規化を排除し、メモリアクセスを最適化した高速で柔軟な変形畳み込み演算子。分類・セグメンテーション・生成タスク全般で3倍のフォワード速度と高い性能を実現する。

ABSTRACT

We introduce Deformable Convolution v4 (DCNv4), a highly efficient and effective operator designed for a broad spectrum of vision applications. DCNv4 addresses the limitations of its predecessor, DCNv3, with two key enhancements: 1. removing softmax normalization in spatial aggregation to enhance its dynamic property and expressive power and 2. optimizing memory access to minimize redundant operations for speedup. These improvements result in a significantly faster convergence compared to DCNv3 and a substantial increase in processing speed, with DCNv4 achieving more than three times the forward speed. DCNv4 demonstrates exceptional performance across various tasks, including image classification, instance and semantic segmentation, and notably, image generation. When integrated into generative models like U-Net in the latent diffusion model, DCNv4 outperforms its baseline, underscoring its possibility to enhance generative models. In practical applications, replacing DCNv3 with DCNv4 in the InternImage model to create FlashInternImage results in up to 80% speed increase and further performance improvement without further modifications. The advancements in speed and efficiency of DCNv4, combined with its robust performance across diverse vision tasks, show its potential as a foundational building block for future vision models.

研究の動機と目的

• 実用的な速度とスケーラビリティのために変形畳み込みを動機づけ、改善する。
• 現代のGPUでより高速な実行を引き出すために、DCNにおける重複したメモリアクセスを排除する。
• DCN様式の演算における空間集約でのソフトマックス正規化の必要性を再評価する。
• バックボーンとタスク全体にわたる普遍的なドロップイン置換としてのDCNv4を、生成モデルを含む形で実証する。

提案手法

• 空間集約ウェイトからソフトマックス正規化を取り除いて、無限大に拡張可能な動的ウェイトを形成することで、DCNv3を再設計する。
• GPUのメモリアクセスパターンを分析し、グループ内のチャネル間でオフセット/ウェイトを共有して読み取りを削減する、メモリ最適化されたDCNカーネルを実装する。
• ベクトル化メモリアクセス、統合バイリニア補間、および統合メモリ操作を実行してMACと待ち時間を最小化する。
• InternImage内のDCNv3をDCNv4に置換してFlashInternImageを作成し、ImageNet、COCO、ADE20K、nuScenesにおけるスピードアップと性能を評価する。
• ConvNeXtとViTにおいて、ハイパーパラメータ変更なしで注意機構と深さ方向畳み込みの代替として、DCNv4を普遍的な演算子として示す。

実験結果

リサーチクエスチョン

• RQ1 DCNv3と比較して、ソフトマックス正規化を取り除くことは、変形畳み込みの表現力と収束速度を改善するか？
• RQ2 FLOPsを変更せずにメモリアクセスの最適化でDCNをどれくらい高速化できるか、またDCNv4は密集型アテンションや標準の畳み込みと比較してどうなるか？
• RQ3 DCNv4は、生成モデルを含むバックボーン構造や下流の視覚タスク全体に対して普遍的なドロップイン置換として機能するか？
• RQ4 FlashInternImageのような高性能モデルへDCNv4を組み込んだ場合、どの程度の速度アップと性能向上が得られるか？
• RQ5 インスタンス/セマンティック分割および3D検出といった高解像度の知覚タスクにおいて、DCNv4は有効か？

主な発見

• DCNv4はDCNv3より3倍を超えるフォワード速度の改善を達成する。
• ソフトマックス正規化を取り除くと、無限大に拡張可能な動的ウェイトが得られ、収束性と表現力が向上する。
• メモリアクセスの最適化は冗長な読み取りを削減し、精度を維持または向上させつつ実質的なスピードアップを可能にする。
• InternImageでDCNv3をDCNv4に置換するとFlashInternImageになり、ハイパーパラメータ変更なしで50-80%のスピードアップと性能の向上を実現する。
• DCNv4ベースのFlashInternImageは、ImageNet、COCO、ADE20K、nuScenesにおいて最先端または競争力のある結果を、ベースラインより高いスループットで提供する。
• DCNv4は普遍的な演算子として効果的に機能し、ConvNeXtとViTでアテンションや深さ方向畳み込みを置換して高スループットを実現する際、再調整なしで改善する。