[論文レビュー] Adaptive Tensor Learning with Tensor Networks

Meraj Hashemizadeh, Meilin Liu+2 more|arXiv (Cornell University)|Aug 12, 2020

Tensor decomposition and applications参考文献 23被引用数 8

ひとこと要約

本稿では、最小限のユーザ介入で最適な低ランク構造を自動で発見できる、汎用的で適応的なテンソル学習アルゴリズムを、テンソルネットワーク形式を用いて提案する。微分可能な損失関数に基づいて、貪欲にテンソルネットワークのエッジを追加することで、固定分解モデルよりもテンソル補完および分解タスクで優れた性能を示す、コンactでデータ駆動型のテンソルネットワークアーキテクチャを効率的に同定する。

ABSTRACT

Tensor decomposition techniques have shown great successes in machine learning and data science by extending classical algorithms based on matrix factorization to multi-modal and multi-way data. However, there exist many tensor decomposition models~(CP, Tucker, Tensor Train, etc.) and the rank of such a decomposition is typically a collection of integers rather than a unique number, making model and hyper-parameter selection a tedious and costly task. At the same time, tensor network methods are powerful tools developed in the physics community which have recently shown their potential for machine learning applications and offer a unifying view of the various tensor decomposition models. In this paper, we leverage the tensor network formalism to develop a generic and efficient adaptive algorithm for tensor learning. Our method is based on a simple greedy approach optimizing a differentiable loss function starting from a rank one tensor and successively identifying the most promising tensor network edges for small rank increments. Our algorithm can adaptively identify tensor network structures with small number of parameters that effectively optimize the objective function from data. The framework we introduce is very broad and encompasses many common tensor optimization problems. Experiments on tensor decomposition and tensor completion tasks with both synthetic and real world data demonstrate the effectiveness of the proposed algorithm.

研究の動機と目的

• 最適なテンソル分解モデルとランクの選択という課題に取り組むこと。これは通常、手動で行われ、費用がかかり、データタイプごとに一貫性に欠ける。
• CP、Tucker、テンソルトレインなどの多様なテンソル分解モデルを、統一的なテンソルネットワーク形式で統合し、システマティックな最適化を可能にする。
• 最小限のパラメータ数で最も情報をもたらすテンソルネットワーク構造を自動で同定できる適応的アルゴリズムを開発すること。
• 分解ランクやトポロジーに関する事前知識を必要とせず、テンソル学習の目的関数を効率的かつ微分可能に最適化すること。

提案手法

• 本手法は、ランク1のテンソルから出発し、貪欲に最も有益なテンソルネットワークエッジを逐次追加する反復的アプローチを採用する。
• 各ステップで、モデル性能を最も向上させる次なるエッジを選択するために、微分可能な損失関数を最適化する。
• 接続のデータ駆動型の重要性に基づいて、テンソルネットワーク構造を動的に構築することで、適応的アーキテクチャ学習を実現する。
• 本フレームワークは汎用的であり、テンソル分解やテンソル補完を含む、幅広いテンソル学習問題をサポートする。
• アルゴリズムは、テンソルネットワークの数学的構造を活用して、既存の分解モデルを統一的かつ一般化する。
• パラメータの更新は勾配ベースの最適化により実施され、エンドツーエンドの微分可能性とスケーラビリティを保証する。

実験結果

リサーチクエスチョン

• RQ1 手動によるランクやモデル選択を必要とせず、最適なテンソルネットワークアーキテクチャを自動で発見できる統一的で適応的なフレームワークを開発できるか？
• RQ2 貪欲で微分可能なエッジ追加戦略は、実データおよび合成データにおいて、一般化性能が高く、コンパクトなテンソルネットワーク構造をどれほど効果的に同定できるか？
• RQ3 固定テンソル分解モデル（例：CP、Tucker）と比較して、提案手法は、正確性およびパラメータ効率の面でどの程度優れているか？
• RQ4 本アルゴリズムは、テンソル補完やテンソル分解といった多様なテンソル学習タスクに一般化できるか？

主な発見

• 提案された適応的アルゴリズムは、標準的な固定ランクモデルと比較して、顕著に少ないパラメータ数でテンソルネットワーク構造を発見しながら、性能を維持または向上させる。
• 合成データにおける実験では、本手法が高精度かつ低ランクで元のテンソル構造を効果的に回復できることを示している。
• 実世界のテンソル補完タスクにおいて、本手法は最先端のベースラインと比較して、競争力あるか、あるいは優れた性能を達成している。
• 本手法は多様なデータタイプおよびテンソル分解モデルに対して、強固であることが確認され、広範な適用可能性が裏付けられている。
• 貪欲で微分可能なエッジ選択プロセスにより、手動でのハイパーパramータチューニングを必要とせず、効率的な収束と安定した最適化が達成されている。