[論文レビュー] Adaptive Learning of Tensor Network Structures

Meraj Hashemizadeh, Meilin Liu+2 more|arXiv (Cornell University)|Aug 12, 2020

Tensor decomposition and applications参考文献 46被引用数 6

ひとこと要約

本稿では、データからテンソルネットワーク（TN）構造とパラメータを同時に学習するためのグリーディな適応的アルゴリズムを提案する。初期状態はランク1のテンソルであり、段階的にランクを増加させるために最も有望なエッジを逐次追加する。この手法は、テンソル分解およびモデル圧縮の分野で最先端の手法を上回り、特に画像補完およびニューラルネットワーク圧縮タスクにおいて、より少ないパラメータで低い再構成誤差を達成する一方で、進化的アプローチよりも著しく高速である。

ABSTRACT

Tensor Networks (TN) offer a powerful framework to efficiently represent very high-dimensional objects. TN have recently shown their potential for machine learning applications and offer a unifying view of common tensor decomposition models such as Tucker, tensor train (TT) and tensor ring (TR). However, identifying the best tensor network structure from data for a given task is challenging. In this work, we leverage the TN formalism to develop a generic and efficient adaptive algorithm to jointly learn the structure and the parameters of a TN from data. Our method is based on a simple greedy approach starting from a rank one tensor and successively identifying the most promising tensor network edges for small rank increments. Our algorithm can adaptively identify TN structures with small number of parameters that effectively optimize any differentiable objective function. Experiments on tensor decomposition, tensor completion and model compression tasks demonstrate the effectiveness of the proposed algorithm. In particular, our method outperforms the state-of-the-art evolutionary topology search [Li and Sun, 2020] for tensor decomposition of images (while being orders of magnitude faster) and finds efficient tensor network structures to compress neural networks outperforming popular TT based approaches [Novikov et al., 2015].

研究の動機と目的

• 与えられた機械学習タスクに対して、データから最良のテンソルネットワーク構造を選択する課題に対処すること。
• パラメータ予算の制約のもとで、微分可能な損失関数を最小化するように、TN構造とパラメータを同時に最適化すること。
• Tucker、TT、TRなどの特定の分解モデルに依存しない汎用的で効率的かつ適応的な手法を開発すること。
• 任意のテンソルネットワークトポロジーと非一様ランクの空間を探索し、性能を向上させること。
• 構造学習を通じて、効果的なテンソル分解、補完、およびニューラルネットワーク圧縮を実現すること。

提案手法

• 本手法はランク1のテンソルから出発し、損失の低下に基づいてランク増加に最も有望なエッジをグリーディに逐次選択する戦略を用いる。
• 各ステップで、現在のTN構造に対して連続的最適化（例：ALSを用いて）を実行し、パラメータを更新する。
• グリーディ選択は微分可能な目的関数に従い、構造とパラメータのエンドツーエンド最適化を可能にする。
• 本手法は、テンソル分解、テンソル補完、ニューラルネットワークモデル圧縮のさまざまなタスクに適用される。
• 各グリーディステップでのパラメータ初期化に、前回の構造を用いた重み転送メカニズムが導入され、収束が向上する。
• 本手法は二段階最適化として定式化される：離散的構造探索（上位レベル）と連続的パrameter最適化（下位レベル）。

実験結果

リサーチクエスチョン

• RQ1 グリーディアルゴリズムは、多様なテンソル学習タスクに対して最適なテンソルネットワーク構造を効果的に発見できるか？
• RQ2 固定構造手法（TT、TR、Tuckerなど）と比較して、適応的構造学習はパrameter効率性と精度の面で優れているか？
• RQ3 本手法は、テンソル分解において、進化的トポロジ検索手法と比較して速度と性能の両面で優れているか？
• RQ4 グリーディステップにおける重み転送は、収束性および最終的な性能をどの程度向上させるか？
• RQ5 本手法は、標準的なTTベースのアプローチを上回る効率的なTN構造を、深層ニューラルネットワークの圧縮において発見できるか？

主な発見

• 提案されたGreedy-TNアルゴリズムは、[18]で示された最先端の進化的トポロジ検索手法を、画像テンソル分解タスクにおいて顕著に上回り、より少ないパラメータで低い回復誤差を達成し、トレーニングが桁違いに高速である。
• Einsteinの画像補完タスクにおいて、Greedy-TNはCP、Tucker、TT、TRのベースラインと比較して、より少ないパラメータで低い相対的テスト誤差を達成する構造を発見した。
• ニューラルネットワークの全結合層圧縮において、Greedy-TNは[22]で提案されたTTベースの手法よりも効率的なテンソルネットワーク構造を発見し、精度の低下を抑えつつより良いモデル圧縮を実現した。
• アブレーションスタディの結果、各グリーディステップでランダム初期化を行うのと比較して、重み転送メカニズムにより収束が速く、再構成誤差も低くなった。
• 本手法は、一様ランクベースラインと比較して、データに適した非一様ランク構造を効果的に発見でき、データ駆動型構造発見への適応性を示した。
• 本手法は、テンソル分解、補完、モデル圧縮の多様なタスクにわたり有効であることが確認され、汎用性と頑健性を裏付けた。