[論文レビュー] LDConv: Linear deformable convolution for improving convolutional neural networks

Xin Zhang, Yingze Song+5 more|arXiv (Cornell University)|Nov 20, 2023

Advanced Neural Network Applications被引用数 45

ひとこと要約

LDConvはAKConvを提示します。これは任意のサンプリング形状とサイズを線形パラメータ増加で可能にし、ターゲット形状に適応させるオフセットを追加する Alterable Kernel Convolution、および標準畳み込みおよび変形可能畳み込みより検出性能を改善することを示します。

ABSTRACT

Neural networks based on convolutional operations have achieved remarkable results in the field of deep learning, but there are two inherent flaws in standard convolutional operations. On the one hand, the convolution operation is confined to a local window, so it cannot capture information from other locations, and its sampled shapes is fixed. On the other hand, the size of the convolutional kernel are fixed to k $ imes$ k, which is a fixed square shape, and the number of parameters tends to grow squarely with size. Although Deformable Convolution (Deformable Conv) address the problem of fixed sampling of standard convolutions, the number of parameters also tends to grow in a squared manner. In response to the above questions, the Linear Deformable Convolution (LDConv) is explored in this work, which gives the convolution kernel an arbitrary number of parameters and arbitrary sampled shapes to provide richer options for the trade-off between network overhead and performance. In LDConv, a novel coordinate generation algorithm is defined to generate different initial sampled positions for convolutional kernels of arbitrary size. To adapt to changing targets, offsets are introduced to adjust the shape of the samples at each position. LDConv corrects the growth trend of the number of parameters for standard convolution and Deformable Conv to a linear growth. Moreover, it completes the process of efficient feature extraction by irregular convolutional operations and brings more exploration options for convolutional sampled shapes. Object detection experiments on representative datasets COCO2017, VOC 7+12, and VisDrone-DET2021 fully demonstrate the advantages of LDConv. LDConv is a plug-and-play convolutional operation that can replace the convolutional operation to improve network performance. The code for the relevant tasks can be found at https://github.com/CV-ZhangXin/LDConv.

研究の動機と目的

• CNNの柔軟性を任意のサンプリング形状とカーネルサイズの実現で向上させることを動機づける。
• AKConvを提案し、任意のカーネルの初期サンプリング座標を生成し、サンプリング形状を適応させるオフセットを学習する。
• AKConvは標準畳み込みのプラグアンドプレイの置換を提供して、ベンチマークで検出性能を改善することを示す。
• Deformable ConvとDSConvと比較して、より広い形状・サイズの柔軟性を示す。

提案手法

• 任意のカーネルサイズの初期サンプリング位置を生成する座標生成アルゴリズムを定義する。
• 各空間位置でサンプル位置を調整する学習可能なオフセットを導入する。
• 再形成と適切な畳み込み演算を通じてサンプリングされた特徴を集約し、不規則なサンプリング形状を実現する。
• AKConvはカーネルサイズによるパラメータの線形成長を保つことを示し、標準および正方形成長の畳み込みと異なる。
• AKConvを拡張して、複数の初期サンプリング形状と、さまざまなタスクに適用可能な任意サイズを示す。

実験結果

リサーチクエスチョン

• RQ1 AKConvは線形のパラメータ増加を維持しつつ、任意のサンプリング形状とサイズを提供して検出性能を維持または改善できるか？
• RQ2 学習可能なオフセットはサンプリング幾何とネットワーク精度にどのように影響するか、データセットとモデルを跨いで？
• RQ3 物体検出ベンチマークで、AKConvは標準Conv、Deformable Conv、DSConvと比べて性能と効率をどう比較されるか？

主な発見

• AKConvはYOLOv5の畳み込みを複数のカーネルサイズで置換した場合にCOCO2017でAP指標を改善。
• AKConvの大きなサイズ（例：5, 9, 11）は一般にAPおよびAP50/AP75を改善し、GFLOPSとパラメータはベースラインに近いかやや上昇。
• Deformable ConvとDSConvと比較して、AKConvはより柔軟なサンプリング形状とサイズを提供し、検出性能は競合的または優れている。
• AKConvのゼロパディングは公平な比較で性能向上に寄与。
• AKConvはCOCO、VOC 7+12、VisDrone-DET2021のデータセットで一貫した改善を示し、一般化を示唆。
• AKConvの性能は初期サンプリング形状により変動する可能性があり、タスクとデータセットに特異的な設計選択を要する。