[論文レビュー] Parallelized Tensor Train Learning For Polynomial Pattern Classification

Zhongming Chen, Kim Batselier+2 more|arXiv (Cornell University)|Dec 20, 2016

Tensor decomposition and applications被引用数 1

ひとこと要約

本稿では、多次元多項式の効率的な表現により、次元の呪いを克服するテンソル・トレインに基づく多項式分類器を提案する。低複雑性の最適化と並列処理を用いることで、USPSおよびMNISTで高い精度を達成し、スケーラブルな学習を実現し、複雑な意思決定境界の学習における効率性と有効性を示している。

ABSTRACT

In pattern classification, polynomial classifiers are well-studied methods as they are capable of generating complex decision surfaces. Unfortunately, the use of multivariate polynomials is limited to kernels as in support vector machines, because polynomials quickly become impractical for high-dimensional problems. In this paper, we effectively overcome the curse of dimensionality by employing the tensor train format to represent a polynomial classifier. Based on the structure of tensor trains, two learning algorithms are proposed which involve solving different optimization problems of low computational complexity. Furthermore, we show how both regularization to prevent overfitting and parallelization, which enables the use of large training sets, are incorporated into these methods. Both the efficiency and efficacy of our tensor-based polynomial classifier are then demonstrated on the two popular datasets USPS and MNIST.

研究の動機と目的

• 高次元データにおける多次元多項式分類器の計算上的非現実性（次元の呪い）を解消すること。
• 多項式意思決定境界の表現力は維持しつつ、計算コストを低減するスケーラブルな学習フレームワークを開発すること。
• 正則化と並列処理を学習プロセスに統合し、一般化性能の向上と大規模データセットでの学習を改善すること。

提案手法

• 高次元テンソルを低次元コアの系列に分解するテンソル・トレイン（TT）形式を用いて、多項式分類器を表現することで、パラメータ数を著しく削減する。
• TT構造に基づく2つの異なる最適化問題を定式化し、高次元データに適した低複雑性の学習アルゴリズムを可能にする。
• 過学習を防ぎ、一般化性能を向上させるために、TTに基づく最適化に正則化技術を統合する。
• 複数のプロセッサに計算を分散させることで、学習プロセスの並列化を実現し、大規模なトレーニングセットをサポートする。
• テンソル・トレインの低ランク構造を活用することで、計算オーバーヘッドを最小限に抑えつつ、モデルの表現力を維持する。

実験結果

リサーチクエスチョン

• RQ1 テンソル・トレイン形式は、高次元パターン分類タスクにおける多項式分類器を効果的に表現できるか？
• RQ2 テンソル・トレイン形式における最適化問題は、どのように設計すれば計算複雑性を低く保てるか？
• RQ3 正則化と並列処理をTTベースの学習に統合する際、モデルの精度を損なわず、どの程度まで統合可能か？
• RQ4 実世界のデータセットにおいて、従来の多項式分類器と比較して、提案手法はスケーラビリティとパフォーマンスの面でどのように優れているか？

主な発見

• テンソル・トレインに基づく多項式分類器は、MNISTおよびUSPSデータセットで高い精度を達成し、高次元性にもかかわらず強力な性能を示している。
• 効果的な並列化により、スケーラブルなトレーニングが可能となり、大規模なトレーニングセットの使用が現実的になった。
• 正則化が学習プロセスに成功裏に統合され、過学習が軽減され、一般化性能が向上した。
• 標準的な多項式分類器と比較して、提案手法はパラメータ数を顕著に削減し、次元の呪いの影響を緩和した。