[論文レビュー] KernelWarehouse: Towards Parameter-Efficient Dynamic Convolution

Chao Li, Anbang Yao|arXiv (Cornell University)|Aug 16, 2023

Advanced Neural Network ApplicationsComputer Science被引用数 3

ひとこと要約

KernelWarehouseは、畳み込みカーネルをセルに分割し、層を跨いで再利用可能なグローバルな'ウェアハウス'を共有することで、カーネル表現を再定義するパラメータ効率の良い動的畳み込み手法を提案する。最小限のパラメータ増加で高次元のカーネル混合を可能にし、最先端の精度を達成する—例えば、ResNet50を用いたImageNetではトップ1が81.05%—、モデルサイズを最大65.10%削減し、精度を2.29%向上させる。

ABSTRACT

Dynamic convolution learns a linear mixture of $n$ static kernels weighted with their sample-dependent attentions, demonstrating superior performance compared to normal convolution. However, existing designs are parameter-inefficient: they increase the number of convolutional parameters by $n$ times. This and the optimization difficulty lead to no research progress in dynamic convolution that can allow us to use a significant large value of $n$ (e.g., $n>100$ instead of typical setting $n<10$) to push forward the performance boundary. In this paper, we propose $KernelWarehouse$, a more general form of dynamic convolution, which can strike a favorable trade-off between parameter efficiency and representation power. Its key idea is to redefine the basic concepts of "$kernels$" and "$assembling$ $kernels$" in dynamic convolution from the perspective of reducing kernel dimension and increasing kernel number significantly. In principle, KernelWarehouse enhances convolutional parameter dependencies within the same layer and across successive layers via tactful kernel partition and warehouse sharing, yielding a high degree of freedom to fit a desired parameter budget. We validate our method on ImageNet and MS-COCO datasets with different ConvNet architectures, and show that it attains state-of-the-art results. For instance, the ResNet18|ResNet50|MobileNetV2|ConvNeXt-Tiny model trained with KernelWarehouse on ImageNet reaches 76.05%|81.05%|75.52%|82.51% top-1 accuracy. Thanks to its flexible design, KernelWarehouse can even reduce the model size of a ConvNet while improving the accuracy, e.g., our ResNet18 model with 36.45%|65.10% parameter reduction to the baseline shows 2.89%|2.29% absolute improvement to top-1 accuracy.

研究の動機と目的

• n個の動的カーネルを使用する場合にパラメータがn倍に増加する既存の動的畳み込み手法のパラメータ非効率性を是正すること。
• モデルサイズの増加により小規模なn（例：n < 10）しか使用できないという制限を克服し、より大きなn（例：n > 100）の利用を可能にすることで表現力を向上させること。
• 畳み込みカーネルにおける層内および層間のパラメータ依存関係を活用し、パラメータの比例的増加なしに表現力を強化すること。
• モデル圧縮と精度向上を同時に実現できる柔軟でスケーラブルなアーキテクチャを設計すること。

提案手法

• KernelWarehouseは、各畳み込みカーネルを等サイズのm個の不重複なカーネルセルに分割し、カーネルごとの次元を低減する。
• 複数の畳み込み層に跨って再利用可能なn個のカーネルセル（例：n = 108）からなる共有'ウェアハウス'を定義し、層間でのパラメータ共有を実現する。
• 各カーネルセルは、入力依存のアテンションを用いてウェアハウスセルの線形混合として計算され、新規のアテンション関数 α_ij = z_ij / Σ_p |z_ip| を導入する。
• アテンション機構は、初期化時に温度スケーリングされた β_ij を用いることで、混合物とウェアハウスセルとの1対1対応を促進し、学習の初期段階での安定性を向上させる。
• 負の値を許容する新たなアテンション関数を導入することで、敵対的アテンション関係をモデル化し、表現学習を向上させる。
• スケーリング係数（例：1/2×, 1×, 4×）を用いた柔軟なハイパーパramータチューニングが可能で、モデルサイズと精度のトレードオフを制御できる。

実験結果

リサーチクエスチョン

• RQ1 パラメータが比例的に増加することなく、動的畳み込みが高次元の表現力を達成できるか？
• RQ2 畳み込みカーネルにおける層内および層間のパラメータ依存関係を活用することで、パラメータ増加を抑えつつ性能を維持または向上できるか？
• RQ3 グローバルで共有されるカーネルセルのウェアハウスは、各層ごとのカーネルセットと比較して、より優れた一般化性能と効率性を実現できるか？
• RQ4 負の値を許容する新規アテンション関数は、動的畳み込みにおけるアテンション関係の学習を向上させられるか？
• RQ5 KernelWarehouseは、動的カーネル数をスケーリングする際、モデルサイズの縮小と精度向上を同時に達成できるか？

主な発見

• KernelWarehouseは、ResNet50を用いてImageNetで81.05%のトップ1精度を達成し、ベースラインより2.61ポイント高い精度を実現したが、パラメータはわずか28.05M個にとどまる。
• ResNet18では、モデルサイズを65.10%（9.2Mパラメータに）削減しながら、トップ1精度を2.29%向上させた。
• MobileNetV2では、11.38Mパラメータでトップ1精度75.92%を達成し、ベースラインより3.90%の精度向上を達成したが、モデルサイズは67.5%削減された。
• 提案されたアテンション関数 α_ij = z_ij / Σ_p |z_ip| は、Softmax、Sigmoid、ReLUベースの代替手法を上回り、トップ1精度で2.10〜2.68%の向上を示した。
• 温度スケーリングを用いたアテンション初期化戦略は、ResNet18でトップ1精度を1.38%向上させ、初期学習段階の安定性に重要であることを示した。
• 可視化結果から、アテンションは構造的で対角優勢なパターンを学習しており、混合物とウェアハウスセルとの有効な1対1マッピング、および層内依存関係の強さが層間依存関係を上回っていることが示された。