[論文レビュー] T-Basis: a Compact Representation for Neural Networks

Anton Obukhov, Maxim Rakhuba+4 more|arXiv (Cornell University)|Jul 13, 2020

Tensor decomposition and applications被引用数 14

ひとこと要約

T-Basisは、複数の層を低ランク係数を用いてパrameter化する共通の3次元テンソル基底を学習することで、ニューラルネットワークのコンactな表現を実現し、最小限の精度低下で高い圧縮を達成する。0.149×の圧縮比を達成し、エッジデバイスへのデプロイに適した性能を維持する。

ABSTRACT

We introduce T-Basis, a novel concept for a compact representation of a set of tensors, each of an arbitrary shape, which is often seen in Neural Networks. Each of the tensors in the set is modeled using Tensor Rings, though the concept applies to other Tensor Networks. Owing its name to the T-shape of nodes in diagram notation of Tensor Rings, T-Basis is simply a list of equally shaped three-dimensional tensors, used to represent Tensor Ring nodes. Such representation allows us to parameterize the tensor set with a small number of parameters (coefficients of the T-Basis tensors), scaling logarithmically with each tensor's size in the set and linearly with the dimensionality of T-Basis. We evaluate the proposed approach on the task of neural network compression and demonstrate that it reaches high compression rates at acceptable performance drops. Finally, we analyze memory and operation requirements of the compressed networks and conclude that T-Basis networks are equally well suited for training and inference in resource-constrained environments and usage on the edge devices.

研究の動機と目的

• リソース制約のあるエッジデバイスに大規模で高性能なディーブニューラルネットワークをデプロイする課題に対処すること。
• 各層ごとに独立した因子分解を必要とする従来のTensor Ring（TR）手法の制限、すなわち高いパラメータオーバーヘッドを克服すること。
• ネットワーク内の複数の層に一般化可能な統一的で低パラメータの基底表現を開発すること。
• メモリおよび計算コストを最小限に抑えることで、エッジデバイスにおける効率的なトレーニングとインフェンスを可能にすること。
• ResNets、WideResNets、DeepLabV3+を含む多様なアーキテクチャおよびデータセットにおいて、本手法の有効性を実証すること。

提案手法

• 複数の高次元重みテンソルを表現するための共有された3次元テンソル（基底）としてT-Basisを提案する。
• 各層の重みテンソルを基底テンソルの線形結合としてパrameter化し、トレーニング中に係数を学習する。
• 個々の層の重みをTensor Ring（TR）分解を用いて表現し、基底を複数の層に共有する。
• モデル容量と圧縮率を制御する2つのグローバルハイパーパrameter、基底サイズ（B）およびTRランク（R）を導入する。
• 畳み込み層および全結合層に本基底を適用し、パラメータ効率の高い圧縮を実現する。
• 標準的なバックプロパゲーションを用いて基底と係数を同時に最適化し、標準的なトレーニングパイプラインとの互換性を維持する。

実験結果

リサーチクエスチョン

• RQ1 共有テンソル基底を用いることで、ディーブニューラルネットワークの重みを表現するためのパラメータ数を顕著に削減できるか？
• RQ2 さまざまなアーキテクチャにおいて、T-Basisは従来の圧縮手法と比べて精度と圧縮比の両面で優れているか？
• RQ3 微調整なしに、異なるモデルやタスク間で基底をどれだけ効果的に転送できるか？
• RQ4 極端な圧縮領域において、基底サイズ、TRランク、およびモデル性能のトレードオフはどの程度か？
• RQ5 大規模なセグメンテーションタスクにおいて、非常に高い圧縮比（例：元のパラメータ数の1%未満）でもT-Basisは高い性能を維持できるか？

主な発見

• WRN-28-10では0.149×の圧縮比を達成し、トップ1精度は57.64%にとどまり、CIFAR-10においても最先端の手法を上回る性能を示した。
• ResNet-34バックボーンを搭載したDeepLabV3+では、4.777×の圧縮比を達成し、mIoUは63.07%（±0.08）で、100%圧縮時のベースライン（64.08%）から1%以内の精度を維持した。
• 極端な圧縮レベルでも性能を維持でき、Pascal VOCでは1.450×の圧縮比で58.18%のmIoU（±0.69）を達成した。
• B=32、R=8のT-BasisはWRN-28-10で0.149×の圧縮比を達成し、TRNや最近の他の手法と比較して精度-圧縮トレードオフの面で優れた性能を示した。
• 基底はモデルやタスク間で転送可能であり、最小限の性能低下で運用可能であり、強力な一般化能力を示唆している。
• T-Basisネットワークのメモリおよび計算要件は低く、エッジデバイスにおける効率的なトレーニングとインフェンスを可能にしている。