[論文レビュー] Bayesian Tensorized Neural Networks with Automatic Rank Selection

Cole Hawkins, Zheng Zhang|arXiv (Cornell University)|May 24, 2019

Tensor decomposition and applications参考文献 45被引用数 17

ひとこと要約

本稿では、変分推論を用いた自動ランク選択を組み込んだテンソルトレース分解を用いたベイジアンテンソル化ニューラルネットワークを提案する。これにより、コンパクトなモデルサイズと不確実性の定量化を実現したエンドツーエンド学習が可能となる。MNISTおよびCIFAR-10ベンチマークにおいて、標準ネットワーク比で7.4倍から137倍の圧縮を達成しながら高い精度を維持する。

ABSTRACT

Tensor decomposition is an effective approach to compress over-parameterized neural networks and to enable their deployment on resource-constrained hardware platforms. However, directly applying tensor compression in the training process is a challenging task due to the difficulty of choosing a proper tensor rank. In order to achieve this goal, this paper proposes a Bayesian tensorized neural network. Our Bayesian method performs automatic model compression via an adaptive tensor rank determination. We also present approaches for posterior density calculation and maximum a posteriori (MAP) estimation for the end-to-end training of our tensorized neural network. We provide experimental validation on a fully connected neural network, a CNN and a residual neural network where our work produces $7.4 imes$ to $137 imes$ more compact neural networks directly from the training.

研究の動機と目的

• 低ランクニューラルネットワーク圧縮における最適なテンソルランクの選択という課題に取り組むこと。これは、モデルの効率性と性能に極めて重要である。
• ベイジアン推論とテンソルトレース分解を統合することで、圧縮されたニューラルネットワークのエンドツーエンド学習を可能にすること。
• 事前知識や手動チューニングを必要とせずに、学習中にテンソルランクを自動的に決定すること。
• 完全な事後分布推論を用いて予測の不確実性を推定することで、安全が求められる応用分野における信頼性を向上させること。
• 全結合層および畳み込み層において、高い圧縮比を達成しながら、モデルの精度を維持または向上させること。

提案手法

• 本手法は、重み行列および畳み込みカーネルをテンソルトレース（TT）分解によりパrameter化し、低ランク因子分解によってモデルパラメータを削減する。
• TTランクにおけるスパarsityを誘導するための階層的ベイジアン事前分布を導入し、データ駆動の証拠に基づいた自動ランク決定を可能にする。
• スケーラブルなベイジアン推論を実現するため、スティン変分勾配降下法（SVGD）を用いてネットワーク重みの完全事後分布を近似する。
• 効率的な推論と不確実性の定量化のため、同じフレームワークを用いて最大事後確率（MAP）推定を実行する。
• 勾配ベース最適化を用いてエンドツーエンドで学習を行い、学習中にTTランクを動的に更新する。
• 本フレームワークは、完全なベイジアン推論とMAP推定の両方をサポートしており、不確実性定量化と計算コストの間のトレードオフを可能にする。

実験結果

リサーチクエスチョン

• RQ1 ベイジアン推論をテンソルトレース分解と効果的に組み合わせることで、ニューラルネットワーク学習中に自動的にテンソルランクを選択できるか？
• RQ2 固定ランクのテンソル化ネットワークと比較して、本手法はモデル圧縮と予測精度の面でどのように異なるか？
• RQ3 自動ランク決定は、画像分類タスクにおける高いパフォーマンスを維持しつつ、どの程度モデルサイズを削減できるか？
• RQ4 ベイジアン定式化は、曖昧な入力に対して信頼性のある不確実性推定を提供できるか、特に低ランクニューラルネットワークにおいて？
• RQ5 本手法は、畳み込み層と比較して、全結合層において優れた圧縮を達成するのか。その理由は何か？

主な発見

• 提案手法であるLR-BTNNは、標準ベイジアンニューラルネットワークと比較して、2層の全結合MNISTネットワークで最大137倍のパラメータ削減を達成した。
• 6層のCNNでは、15.8倍の圧縮比を達成しながらも、競合する先行手法を上回る高い精度を維持した。
• 110層の残差ネットワークでは、7.4倍の圧縮比を達成し、完全モデルと比較してテスト精度が0.7%しか低下しなかった。
• 自動ランク選択プロセスにより、TTランクが顕著に削減された。例えば、MNISTモデルの最初の全結合層では、(1,20,20,20,1)から(1,8,1,5,1)にまで削減された。
• ベイジアン定式化により不確実性定量化が可能となった。曖昧な入力に対して、ソフトマックス出力の同時密度プロットから、複数のクラスに対して高い信頼度を示すことが確認された。
• 特に全結合層において、標準ベイジアンニューラルネットワークおよび固定ランクテンソル化ネットワークと比較して、本手法は圧縮効率が優れている。