[論文レビュー] Revisiting Dynamic Convolution via Matrix Decomposition

Yunsheng Lou, Yinpeng Chen+8 more|arXiv (Cornell University)|Mar 15, 2021

Advanced Neural Network Applications参考文献 31被引用数 12

ひとこと要約

本稿では、動的アテンションをチャンネルグループに適用する代わりに、低次元の潜在空間における動的チャンネル統合に置き換える行列分解に基づく手法、Dynamic Convolution Decomposition (DCD) を提案する。潜在次元を低減し、動的係数を静的カーネルから分離することで、MobileNetV2 および ResNet において、従来手法と比較してパラメータ数を50%削減しながら、精度と学習収束性を向上させた。

ABSTRACT

Recent research in dynamic convolution shows substantial performance boost for efficient CNNs, due to the adaptive aggregation of K static convolution kernels. It has two limitations: (a) it increases the number of convolutional weights by K-times, and (b) the joint optimization of dynamic attention and static convolution kernels is challenging. In this paper, we revisit it from a new perspective of matrix decomposition and reveal the key issue is that dynamic convolution applies dynamic attention over channel groups after projecting into a higher dimensional latent space. To address this issue, we propose dynamic channel fusion to replace dynamic attention over channel groups. Dynamic channel fusion not only enables significant dimension reduction of the latent space, but also mitigates the joint optimization difficulty. As a result, our method is easier to train and requires significantly fewer parameters without sacrificing accuracy. Source code is at https://github.com/liyunsheng13/dcd.

研究の動機と目的

• K重のカーネルパrameterizationに起因する動的畳み込みにおける高いパラメータ数と学習不安定性に対処すること。
• 動的アテンションと静的畳み込みカーネルの共同最適化の難易度を克服すること。
• 行列分解を通じて動的畳み込みを再定式化し、根本的原因であるチャンネルグループアテンションに起因する高次元潜在空間を明らかにすること。
• 低次元潜在空間における動的チャンネル統合を用いて、よりコンactかつ学習可能な代替手法を提案すること。
• 計算コストを著しく増加させることなく、モデル効率性と精度を向上させること。

提案手法

• 行列分解を用いて動的畳み込みを再定式化する：W(x) = W₀ + UΠ(x)SVᵀ ここで Π(x) は高次元空間における K×C チャンネルグループにわたる動的アテンションを適用する。
• チャンネルグループにわたる動的アテンションが高次元潜在空間（KC チャンネル）を生じさせ、小さなアテンション値と学習の悪化を引き起こすことを特定する。
• 低次元潜在空間（L ≪ C）における完全な動的行列 Φ(x) を用いた動的チャンネル統合（DCF）を提案し、Φ(x) が PΦ(x)Qᵀ によってチャンネルを統合する。
• 入力の圧縮（Qᵀx ∈ ℝᴸ）と出力の拡張（P ∈ ℝᶜˣᴸ）を可能にする2つの学習可能な行列 P と Q を用い、パラメータ数を削減し、学習を安定化させる。
• さらにモデル制御と効率性を向上させるために、動的チャンネルごとのアテンション Λ(x) とリプルススケーリング B を導入する。
• ポイントワイドおよび分類器レイヤーでは、フル DCF と Λ(x) を実装し、ディープワイド畳み込みでは DCF のみを用いてコンパクト性を確保する。

実験結果

リサーチクエスチョン

• RQ1 動的畳み込みは性能向上をもたらすものの、なぜ高いパラメータ数と学習収束の悪さを抱えるのか？
• RQ2 チャンネルグループアテンションが誘発する高次元潜在空間は、モデル最適化とパラメータ効率性にどのように影響するか？
• RQ3 低次元潜在空間における動的チャンネル統合は、チャンネルグループにわたる動的アテンションを上回る精度とパラメータ効率性を達成できるか？
• RQ4 行列分解は、既存の動的畳み込み手法の構造的制限をどの程度明らかにできるか？
• RQ5 融合行列 Φ(x) の動的挙動は、ネットワークのレイヤーや入力データによってどのように変化するか？

主な発見

• MobileNetV2 ×1.0 において、Chen et al. (2020c) より50%、Yang et al. (2019) より75%のパラメータ削減を達成し、MAddsに変化は認めない。
• ResNet-18 において、Chen et al. (2020c) の33%のパラメータで、トップ-1精度が0.4%向上した。
• 大きな温度調整を伴わず、DY-Conv (Chen et al., 2020c) よりも高速に収束し、より高い精度に到達した。
• MobileNetV2 ×0.5 および ×1.0 では推論時間が12–14%増加したが、このオーバーヘッドは3.2–4.8%のトップ-1精度向上により正当化される。
• 深層部において、動的係数の正規化された分散 σΦ が増加しており、高レベル特徴における強い動的適応が示唆された。
• アブレーションスタディにより、動的チャンネル統合とチャンネルごとのアテンション Λ(x)、およびフルリプルススケーリング B=1 を組み合わせた場合が最良の性能を示した。