[論文レビュー] Compact Neural Networks based on the Multiscale Entanglement Renormalization Ansatz

Andrew Hallam, Edward Grant+3 more|arXiv (Cornell University)|Nov 9, 2017

Quantum many-body systems参考文献 19被引用数 6

ひとこと要約

本論文では、畳み込みニューラルネットワークにおける全結合層を、量子多体系物理学におけるテンソルネットワークであるマルチスケールエンタングルメントリノーマライゼーションアンザッツ（MERA）に基づくテンソル化層に置き換える手法を提案している。CIFAR-10ではパラメータを14,000倍に削減しつつ1%未満の精度低下に抑え、MERAはテンソルトレイン因子分解よりも圧縮効率と精度保持性に優れている。これは、コンパクトなディープラーニングモデルにおける階層的・スケール不変な表現学習を示している。

ABSTRACT

This paper demonstrates a method for tensorizing neural networks based upon an efficient way of approximating scale invariant quantum states, the Multi-scale Entanglement Renormalization Ansatz (MERA). We employ MERA as a replacement for the fully connected layers in a convolutional neural network and test this implementation on the CIFAR-10 and CIFAR-100 datasets. The proposed method outperforms factorization using tensor trains, providing greater compression for the same level of accuracy and greater accuracy for the same level of compression. We demonstrate MERA layers with 14000 times fewer parameters and a reduction in accuracy of less than 1% compared to the equivalent fully connected layers, scaling like O(N).

研究の動機と目的

• ディープラーニングにおける次元の呪いに対処するため、顕著な精度損失を伴わずに全結合層を圧縮すること。
• 量子多体系物理学におけるテンソルネットワークであるMERAが、ニューラルネットワークにおける標準的な線形層の効果的でコンパクトな代替手段として機能するかどうかを検討すること。
• パラメータ効率性と精度の観点から、MERAベースの圧縮法を、テンソルトレインなどの既存手法と比較すること。
• 階層的・スケール不変なテンソル因子分解の可能性を、ディープラーニングにおける複雑なデータ相関をモデル化するためのものとして調査すること。

提案手法

• 著者らは、全結合重み行列を高次元テンソルに再形状し、それをマルチスケールエンタングルメントリノーマライゼーションアンザッツ（MERA）ネットワークとして表現する。
• MERA層は、複数スケールにわたる入力特徴の階層的粗粒度化を実現するため、等長性と脱エンタングルメント素子を用いて構築される。
• MERA構造により、多段階のリノーマライゼーションプロセスを通じて長距離相関を効率的に保持するテンソル畳み込みが可能になる。
• 本手法は、CNNにおける標準的な全結合層をMERA層に置き換えるもので、ネットワーク全体のアーキテクチャと学習プロトコルを維持する。
• 著者らは、CIFAR-10およびCIFAR-100データセット上でMERAベースのネットワークを学習・評価し、標準的およびテンソルトレイン圧縮モデルと性能を比較した。
• 入力特徴は、MERAの階層的構造に適合させるためにランク12のテンソルに再形状されるが、最適な再形状方法は未解決の問題のままである。

実験結果

リサーチクエスチョン

• RQ1 MERAベースのテンソル因子分解は、深層ニューラルネットワークにおける全結合層を、精度を保持したまま効果的に圧縮できるか？
• RQ2 画像分類タスクにおいて、MERAベースの圧縮法はテンソルトレイン因子分解と比べてパラメータ効率性と精度の両面で優れているか？
• RQ3 MERAの階層的・マルチスケール構造は、低レベルのテンソルネットワークに比べ、画像データ内の長距離相関をより効果的に捉えられるか？
• RQ4 MERA層と標準的またはテンソルトレイン圧縮層を用いた場合の、モデル圧縮と精度のトレードオフはいかなるものか？
• RQ5 MERAの粗粒度化メカニズムは、ディープラーニングモデルにおける一般化性能の向上と過学習の低減に活用できるか？

主な発見

• CIFAR-10データセットにおいて、MERAベースの層は標準的な全結合層と比較して14,000倍のパラメータ削減を達成し、テスト精度の低下は1%未満であった。
• MERAベースのモデルは、70～100倍も多くのパラメータを持つテンソルトレインベースのネットワークを上回り、より優れた圧縮-精度トレードオフを示した。
• 同じ圧縮レベルにおいてMERAはテンソルトレイン因子分解よりも高い精度を達成しており、同じ精度を維持する場合、MERAはより高い圧縮率を達成した。
• CIFAR-100においては精度低下がCIFAR-10より大きかったが、MERAモデルは同等のテンソルトレインネットワークを上回った。
• MERAの階層的構造により、脱エンタングルメント素子を欠いたツリー型テンソルネットワークよりも、長距離相関のモデル化がより効果的に行える。
• 効率的なテンソル畳み込みとパラメータ数の削減により、本手法はより大きな入力データセットの処理に対しても有望であり、過学習の緩和にも寄与する可能性がある。