[論文レビュー] Compression and Interpretability of Deep Neural Networks via Tucker Tensor Layer: From First Principles to Tensor Valued Back-Propagation

Giuseppe G. Calvi, Ahmad Moniri+3 more|arXiv (Cornell University)|Mar 14, 2019

Tensor decomposition and applications参考文献 23被引用数 21

ひとこと要約

本稿では、畳み込みニューラルネットワークの全結合層における結合重み行列を、Tuckerテンソル分解に置き換える新しいフレームワーク、Tuckerテンソル層（TTL）を提案する。MNISTおよびFashion-MNISTでは、パラメータ数を最大66.63倍に圧縮しつつ性能を維持する。テンソル値の逆誤差伝搬を導出することで、テンソル要因の勾配解析により物理的解釈可能性を実現し、特徴の重要度を明らかにした。VGG-16では10%の高速化を達成した。

ABSTRACT

This work aims to help resolve the two main stumbling blocks in the application of Deep Neural Networks (DNNs), that is, the exceedingly large number of trainable parameters and their physical interpretability. This is achieved through a tensor valued approach, based on the proposed Tucker Tensor Layer (TTL), as an alternative to the dense weight-matrices of DNNs. This allows us to treat the weight-matrices of general DNNs as a matrix unfolding of a higher order weight-tensor. By virtue of the compression properties of tensor decompositions, this enables us to introduce a novel and efficient framework for exploiting the multi-way nature of the weight-tensor in order to dramatically reduce the number of DNN parameters. We also derive the tensor valued back-propagation algorithm within the TTL framework, by extending the notion of matrix derivatives to tensors. In this way, the physical interpretability of the Tucker decomposition is exploited to gain physical insights into the NN training, through the process of computing gradients with respect to each factor matrix. The proposed framework is validated on both synthetic data, and the benchmark datasets MNIST, Fashion-MNIST, and CIFAR-10. Overall, through the ability to provide the relative importance of each data feature in training, the TTL back-propagation is shown to help mitigate the "black-box" nature inherent to NNs. Experiments also illustrate that the TTL achieves a 66.63-fold compression on MNIST and Fashion-MNIST, while, by simplifying the VGG-16 network, it achieves a 10\% speed up in training time, at a comparable performance.

研究の動機と目的

• 深層ニューラルネットワーク（DNN）における高いパラメータ数と低い解釈可能性という二重の課題に取り組む。
• モデルの複雑さを低減するため、全結合層における密度行列の代替としてテンソルベースの手法を開発する。
• Tucker分解要因に基づく逆誤差伝搬を導出することで、物理的解釈可能性を実現する。
• テンソル分解要因に関する勾配を分析することで、データモード（例：空間的、チャネル）の相対的重要度を明らかにする。
• ベンチマークデータセット上でモデルの精度を損なわずに、顕著な圧縮と高速化を達成する。

提案手法

• 全結合層の重み行列を、高階数の重みテンソルの行列展開とみなす。
• 重みテンソルにTucker分解（TKD）を適用し、コアテンソルと因子行列に分解することで圧縮を実現する。
• 行列微分をテンソルに拡張することで、テンソル値の逆誤差伝搬を導出し、各Tucker要因に関する勾配を計算する。
• 得られた勾配を用いて、各データモード（例：高さ、幅、チャネル）が学習プロセスに与える寄与度を解釈する。
• 標準的なDNNアーキテクチャ（例：VGG-16）にTTLを統合し、全結合層をTTLコンponentsに置き換える。
• テンソル共分散から抽出したモダリティ情報（例：RGBのモード3）を複雑なモデルに組み込むことで、性能と効率を向上させる。

実験結果

リサーチクエスチョン

• RQ1 Tuckerテンソル分解を用いて、DNNの全結合層を圧縮しつつ性能を維持できるか？
• RQ2 Tuckerテンソル形式において、逆誤差伝搬を解析的に導出することで物理的解釈可能性を実現できるか？
• RQ3 Tucker分解要因に関する勾配を分析することで、特徴の重要度に関する何らかの知見を得られるか？
• RQ4 データモード（例：空間的、チャネル）の相対的重要度を定量化し、モデルの効率向上に活用できるか？
• RQ5 TTLは、実世界のデータセット上で、精度を維持したままトレーニング時間とパラメータ数をどの程度削減できるか？

主な発見

• TTLは、MNISTおよびFashion-MNISTで、元のネットワークと同等のテスト精度を維持しながら、66.63倍の圧縮を達成した。
• CIFAR-10では、TTLを搭載したModal-VGGモデルが、89.2%の精度を達成し、フルVGG-16と比較して10%のトレーニング時間短縮を実現した。
• モード3（RGBチャネル情報）が分類において最も重要であることが判明し、その組み込みにより精度が89.2%まで向上した。
• TTLを用いた簡素化されたVGG-16では、モダリティ補強を行わずとも、トレーニング速度が12%以上向上した。
• テンソル値の逆誤差伝搬により、モード3がモード1やモード2よりも学習に寄与していることが明らかになり、物理的解釈可能性が得られた。
• 本フレームワークにより、モダリティ特徴（例：モード3のベクトル化された共分散）を深層ネットワークに供給することで、計算コストを低減しつつ性能を向上させるデータ拡張が可能になった。