[論文レビュー] Deformable Butterfly: A Highly Structured and Sparse Linear Transform

Rui Lin, Jie Ran+3 more|arXiv (Cornell University)|Mar 25, 2022

Neural Networks and Applications被引用数 5

ひとこと要約

本論文は、任意の入力出力次元をサポートできるように従来のバタフライ行列を一般化した、構造的かつスパースな線形変換であるDeformable Butterfly (DeBut) を導入する。DeButは、効率的で学習可能かつ階層的な線形マッピングを実現し、高いモデル圧縮率と低い推論複雑性を達成しながらも、正確性を維持する。低ランク分解や既存の構造的変換よりもパラメータ効率性と性能で優れている。

ABSTRACT

We introduce a new kind of linear transform named Deformable Butterfly (DeBut) that generalizes the conventional butterfly matrices and can be adapted to various input-output dimensions. It inherits the fine-to-coarse-grained learnable hierarchy of traditional butterflies and when deployed to neural networks, the prominent structures and sparsity in a DeBut layer constitutes a new way for network compression. We apply DeBut as a drop-in replacement of standard fully connected and convolutional layers, and demonstrate its superiority in homogenizing a neural network and rendering it favorable properties such as light weight and low inference complexity, without compromising accuracy. The natural complexity-accuracy tradeoff arising from the myriad deformations of a DeBut layer also opens up new rooms for analytical and practical research. The codes and Appendix are publicly available at: https://github.com/ruilin0212/DeBut.

研究の動機と目的

• 既存の構造的線形変換の限界、例えば固定された2の累乗次元や大規模ネットワークにおけるスケーラビリティの欠如を解消すること。
• 可変な入力出力次元をサポートする、学習可能で構造的かつスパースな線形変換を開発し、効果的なニューラルネットワーク圧縮を実現すること。
• 全結合層と畳み込み層を、一つの階層的かつ効率的な変換メカニズムで統一すること。
• 量子化、プルーニング、低ランク分解とは直交する新しいネットワーク圧縮のパラダイムを提供すること。
• トレーニングおよび推論のオーバーヘッドを低減することで、エッジAI環境における効率的線形層の実用的導入を可能にすること。

提案手法

• DeButは、非正方行列であり、任意の入力出力次元に適応可能な変形可能な要因行列を許容することで、従来のバタフライ行列を一般化する。
• 変動する中間次元を持つ、スパースで学習可能なバタフライ要因の階層的チェーンを採用し、複雑さと表現力のトレードオフに応じてバルジング（膨張）および単調な構成を可能にする。
• 再帰的なスパース行列積を通じて、細粒度から粗粒度への特徴マッピングを実現し、CNNにおける受容野の挙動を模倣する。
• 密行列ブロックを調整することで表現能力とスパarsityを制御できる、構造的かつスパースな行列の積チェーンを採用する。
• DeButは、アーキテクチャの変更なしに、FCおよびCONV層の即時置換が可能である。
• 再帰的かつバタフライに似た構造のおかげで、高速な行列-ベクトル乗算スキームを活用し、低い推論複雑性を実現する。

実験結果

リサーチクエスチョン

• RQ1 2の累乗制限を超えて、任意の入力出力次元をサポートできる構造的かつスパースな線形変換を設計できるか？
• RQ2 DeButの階層的かつ変形可能な構造は、深層ニューラルネットワークにおけるモデルの正確性とパラメータ効率性にどのように影響するか？
• RQ3 パラメータ数と正確性の観点で、DeButは低ランク分解や他の圧縮技術をどの程度上回るか？
• RQ4 DeButは、性能を損なわせることなく、FCおよびCONV層を単一の効率的な変換メカニズムで統一できるか？
• RQ5 バルジングと単調なDeButチェーンの選択は、モデルの安定性、性能、圧縮効率にどのように影響するか？

主な発見

• CIFAR-10用のVGG-16-BNでは、DeButが2.43Mパラメータで実装され、Tucker-2（3.21Mパラメータ）を上回る正確性（93.71% vs. 93.36%）を達成した。
• DeButはパラメータ数と推論複雑性を削減しながらも高い正確性を維持しており、エッジAIへの展開に適している。
• DeButは量子化やプルーニングと直交するため、これらの技術と組み合わせることでさらなる圧縮が可能である。
• DeButは低ランク構造に依存しない。すべての行列要因および全体の積はフルランクであり、低ランク分解手法とは明確に異なる。
• DeButの階層的かつ段階的な性質により、パイプライン推論の高速化が可能である可能性があり、将来的な最適化の有望な方向性である。
• トレーニングおよび推論の複雑さが重要な大規模ネットワークにおいて、DeButは既存の高速変換スキームを上回る優れた性能と効率性を示した。