[論文レビュー] Wide Compression: Tensor Ring Nets

Wenqi Wang, Yifan Sun+3 more|arXiv (Cornell University)|Feb 25, 2018

Tensor decomposition and applications参考文献 47被引用数 27

ひとこと要約

本稿では、テンソルリング因子分解を用いてモデルサイズを顕著に削減しつつ精度の損失を最小限に抑える、深層ニューラルネットワークのための新規な圧縮手法であるテンソルリングネットワーク（TR-Nets）を提案する。LeNet-5では11倍、Wide ResNetでは243倍の圧縮を達成し、CIFAR-10でわずか2.3%の精度低下で、リソース制約のあるデバイスへの効率的なデプロイを可能にする。

ABSTRACT

Deep neural networks have demonstrated state-of-the-art performance in a variety of real-world applications. In order to obtain performance gains, these networks have grown larger and deeper, containing millions or even billions of parameters and over a thousand layers. The trade-off is that these large architectures require an enormous amount of memory, storage, and computation, thus limiting their usability. Inspired by the recent tensor ring factorization, we introduce Tensor Ring Networks (TR-Nets), which significantly compress both the fully connected layers and the convolutional layers of deep neural networks. Our results show that our TR-Nets approach {is able to compress LeNet-5 by $11 imes$ without losing accuracy}, and can compress the state-of-the-art Wide ResNet by $243 imes$ with only 2.3\% degradation in {Cifar10 image classification}. Overall, this compression scheme shows promise in scientific computing and deep learning, especially for emerging resource-constrained devices such as smartphones, wearables, and IoT devices.

研究の動機と目的

• スマートフォンやIoTデバイスなどのメモリおよび計算リソースが制限されたデバイスに大規模な深層ニューラルネットワークをデプロイする課題に対処すること。
• 従来の圧縮手法が主に全結合層に焦点を当てていたのに対し、現代のアーキテクチャを支配する畳み込み層への圧縮を拡張すること。
• 特にWide ResNetのようなパラメータ数が多いモデルに対して、パラメータ数を顕著に削減しながらモデルのパフォーマンスを保持する圧縮フレームワークを開発すること。
• 構造的なテンソル因子分解を用いて、ストレージ、メモリ、計算のオーバーヘッドを最小限に抑えることで、エッジデバイスにおける効率的な推論を可能にすること。
• テンソルトレインおよびCP分解の一般化としてのテンソルリング因子分解の有効性を、ニューラルネットワーク圧縮の文脈で示すこと。

提案手法

• 全結合層および畳み込み層の重みテンソルにテンソルリング（TR）因子分解を適用し、低ランクテンソルのリング構造による積として表現する。
• 全結合層では、重み行列を高次元テンソルに再形状し、TR因子分解を適用してパラメータ数を削減する。
• 畳み込み層では、入力チャネルおよび出力チャネルの次元のみを圧縮し、空間次元（例：3×3または5×5フィルタ）を保持することで、空間不変性を維持する。
• 最初の要因行列と最後の要因行列が外縁に沿って乗算されるリング構造を採用し、CPおよびテンソルトレイン分解の両方を一般化する。
• 推論時の計算オーバーヘッドを最小限に抑えるために、テンソルの再形状および縮約の順序を最適化する。
• ベンチマークデータセット上で標準的な最適化手法（モーメンタム付きSGDおよび学習率の段階的減少）を用いて、圧縮ネットワークをエンドツーエンドで訓練する。

実験結果

リサーチクエスチョン

• RQ1 テンソルリング因子分解は、パフォーマンスの著しい低下を伴わずに、深層ニューラルネットワークの全結合層および畳み込み層の両方を効果的に圧縮できるか？
• RQ2 標準的な画像分類ベンチマークにおいて、Tuckerおよびテンソルトレイン（TT）因子分解といった既存手法と比較して、TR-Netsの圧縮パフォーマンスはどのように異なるか？
• RQ3 Wide ResNetのような最先端モデルに対して、TR-NetsはCIFAR-10およびCIFAR-100で競争力のある精度を維持しつつ、どの程度の圧縮を達成できるか？
• RQ4 他の低ランク因子分解手法と比較して、TR-Netsアプローチはトレーニング中の一般化ギャップを小さくするか？
• RQ5 エッジデプロイを想定した場合、TR-Netsにおける圧縮比、モデル精度、計算オーバーヘッドのトレードオフはどのようなものか？

主な発見

• LeNet-5では11倍の圧縮を達成し、精度に変化がなく、MNISTで99.31%のテスト精度を維持した。
• LeNet-300-100は13倍に圧縮され、精度低下はわずか0.14%にとどまり、97.36%の精度を達成した。
• 28層のWide ResNetでは、243倍の圧縮を達成し、CIFAR-10でわずか2.3%の精度低下（92.7%の精度）を記録した。
• 同じ圧縮比において、TR-NetsはTucker因子分解よりも一般化ギャップが小さく、トレーニング中の一般化性能が優れていることを示した。
• CIFAR-100においてr=10のとき、TR-Netsは最終テスト誤差および一般化ギャップの両面でTucker因子分解を上回り、より優れたトレーニング安定性を示した。
• r=2のとき、Wide ResNetでは1217倍の圧縮を達成したが、誤差は16.3%（CIFAR-100）に上昇した。これは、圧縮と精度の間のトレードオフを示している。