[論文レビュー] Learning with tree-based tensor formats

Erwan Grelier, Anthony Nouy+1 more|arXiv (Cornell University)|Nov 11, 2018

Tensor decomposition and applications参考文献 20被引用数 13

ひとこと要約

本稿では、木構造に基づくテンソル形式を用いて高次元関数を学習するための適応的アルゴリズムを提案する。多次元最適化と確率的木構造適応を活用することで、数値的に安定した高精度な近似が達成される。この手法は一様ランクモデルを上回り、高い確率で最適な木構造を回復可能であり、高次元統計的設定において、熟練を要しない堅牢な学習を可能にする。

ABSTRACT

This paper is concerned with the approximation of high-dimensional functions in a statistical learning setting, by empirical risk minimization over model classes of functions in tree-based tensor format. These are particular classes of rank-structured functions that can be seen as deep neural networks with a sparse architecture related to the tree and multilinear activation functions. For learning in a given model class, we exploit the fact that tree-based tensor formats are multilinear models and recast the problem of risk minimization over a nonlinear set into a succession of learning problems with linear models. Suitable changes of representation yield numerically stable learning problems and allow to exploit sparsity. For high-dimensional problems or when only a small data set is available, the selection of a good model class is a critical issue. For a given tree, the selection of the tuple of tree-based ranks that minimize the risk is a combinatorial problem. Here, we propose a rank adaptation strategy which provides in practice a good convergence of the risk as a function of the model class complexity. Finding a good tree is also a combinatorial problem, which can be related to the choice of a particular sparse architecture for deep neural networks. Here, we propose a stochastic algorithm for minimizing the complexity of the representation of a given function over a class of trees with a given arity, allowing changes in the topology of the tree. This tree optimization algorithm is then included in a learning scheme that successively adapts the tree and the corresponding tree-based ranks. Contrary to classical learning algorithms for nonlinear model classes, the proposed algorithms are numerically stable, reliable, and require only a low level expertise of the user.

研究の動機と目的

• 限られたデータと高次元性を伴う統計的学習における高次元関数の近似という課題に対処すること。
• 木テンソル形式に基づく非線形でランク構造を持つモデルクラスにおける、数値的に安定的で使いやすいアルゴリズムの開発。
• 関数近似のための最適な木構造トポロジーと木ベースのランクを選択する組み合わせ最適化問題の解決。
• 木構造とランクの共同最適化を通じた適応的モデル選択の実現により、汎化性能と近似精度の向上。

提案手法

• 非線形で木構造に基づくテンソル形式におけるリスク最小化を、表現の変換により一連の線形学習問題に再定式化する。
• 多次元モデル構造を用いることで、標準的な正則化またはグリーディー法によるスパarsityの活用が可能となり、安定した最適化が実現される。
• 固定の分岐数を持つ木構造のトポロジーを探索するための確率的木構造適応アルゴリズムを採用し、表現の複雑さを最小化する構造を選択する。
• 反復的最適化を用いてランクの適応を実現し、非一様でデータ駆動型の木ベースのランク選択を可能にする。
• 木構造とランクの適応を段階的な学習スキームで統合し、最小限のユーザーの熟練度で近似品質を向上させる。
• 階層的テンソル形式を用いた経験的リスク最小化を採用し、効率的な計算と数値的安定性を実現する。

実験結果

リサーチクエスチョン

• RQ1 木構造に基づくテンソル形式を用いて、高次元関数のための適応的で数値的に安定した学習アルゴリズムを構築できるか？
• RQ2 近似誤差を最小化するために、最適な木構造トポロジーと木ベースのランクを同時に選択する方法は何か？
• RQ3 高次元関数近似のための木構造の組み合わせ的空間を効果的に探索できる確率的戦略は何か？
• RQ4 木構造とランクの共同適応は、固定または一様ランクモデルと比較して、どのように汎化性能を向上させるか？
• RQ5 提案手法は、限られたトレーニングデータと熟練したチューニングを要せず、高精度な近似を達成できるか？

主な発見

• 15次元のテスト関数に対して、364パラメータでリスク $1.18 \times 10^{-4}$ を達成し、一様ランクモデルを著しく上回った。
• 同じ関数に対して、2427パラメータでリスク $2.95 \times 10^{-14}$ を達成し、モデル複雑度の増加に伴い指数的収束を示した。
• 数値実験において、確率的木構造適応アルゴリズムは、初期値がランダムであっても、高い確率で最適な木構造を回復した。
• 同等のパラメータ数において、一様ランク選択よりも低いリスク値を示すことで、ランク適応が優れた性能を発揮することが示された。
• 非線形モデル最適化で一般的な数値的不安定性を回避するため、最小限のユーザー熟練度で安定した学習が可能になった。
• トレーニングサンプルサイズに応じてアルゴリズムは効果的にスケーリングされ、$n$ が増加するにつれて近似品質が向上したが、計算コストも増加した。