[論文レビュー] Trace Norm Regularized Tensor Classification and Its Online Learning Approaches

Ziqiang Shi, Tieran Zheng+1 more|arXiv (Cornell University)|Sep 7, 2011

Sparse and Compressive Sensing Techniques参考文献 19被引用数 5

ひとこと要約

本稿では、閉形式の更新式が存在しないテンソル学習における課題に対処するため、加速型近接勾配法（APG）にDouglas-Rachford分割と交替方向汎関数法（ADM）を組み合わせたトレースノルム正則化テンソル分類フレームワークを提案する。バッチ学習およびオンライン学習の両方のバリアントを導入し、ADMを用いることで収束が速く、合成ランク同定タスクにおいて95.9%（許容誤差η=1）の高い分類精度を達成した。

ABSTRACT

In this paper we propose an algorithm to classify tensor data. Our methodology is built on recent studies about matrix classification with the trace norm constrained weight matrix and the tensor trace norm. Similar to matrix classification, the tensor classification is formulated as a convex optimization problem which can be solved by using the off-the-shelf accelerated proximal gradient (APG) method. However, there are no analytic solutions as the matrix case for the updating of the weight tensors via the proximal gradient. To tackle this problem, the Douglas-Rachford splitting technique and the alternating direction method of multipliers (ADM) used in tensor completion are adapted to update the weight tensors. Further more, due to the demand of real applications, we also propose its online learning approaches. Experiments demonstrate the efficiency of the methods.

研究の動機と目的

• テンソルトレースノルムを用いた構造的低ランク正則化によるテンソル分類の課題を解決すること。
• APGフレームワークにおいて解析的解が得られない場合の重みテンソル更新のための効率的最適化手法を開発すること。
• 大規模またはストリーミングのテンソルデータに対してバッチ学習をオンライン学習に拡張すること。
• 合成データを用いたテンソルランク同定タスクにおいて、性能を実験的に評価すること。

提案手法

• 重みテンソルへのトレースノルム正則化を施した凸最適化問題としてテンソル分類を定式化する。
• 閉形式の更新式が存在しないため、テンソルデータに適応可能な加速型近接勾配法（APG）を最適化に用いる。
• APGにおける非解析的近接部分問題を解くために、Douglas-Rachford分割と交替方向汎関数法（ADM）を用いる。
• ストリーミングデータに対応するため、ミニバッチ更新と適応的パrameter処理を組み込んだオンライン学習バリアントを導入する。
• 二乗損失に対する明示的なリプシッツ定数を導出することで、オンライン設定におけるラインサーチの必要性を低減する。
• テンソルのアンフォールディングとモード別特異値分解を用いて、テンソルトレースノルムを各モードにおける行列トレースノルムの平均として計算する。

実験結果

リサーチクエスチョン

• RQ1 トレースノルム正則化は、行列から高次元テンソルへ効果的に拡張可能か？
• RQ2 閉形式の近接更新式が得られない場合、テンソル分類における効率的最適化はどのように達成できるか？
• RQ3 テンソル分類において、ADMとDouglas-Rachford分割の性能差は何か？
• RQ4 オンライン学習バリアントは、バッチ手法と比較して収束速度と精度でどのように異なるか？
• RQ5 提案手法は、合成テンソルランク同定タスクにおいて高い分類精度を達成できるか？

主な発見

• ADMを用いた手法は、バッチおよびオンライン設定の両方でDRを用いた手法よりも収束が速い。
• ミニバッチ更新を用いたオンライン学習では、バッチサイズが大きくなるほど勾配更新の頻度が低下するため、収束が遅くなる。
• 収束時にすべての手法がほぼ同一の性能を示し、平均二乗ランク予測誤差はゼロに近づく。
• ランク推定誤差許容誤差η=1の条件下で分類精度が95.9%に達し、ランク同定タスクにおける優れた一般化性能を示している。
• 二乗損失に対する明示的なリプシッツ定数の導出により、オンライン学習におけるラインサーチの必要性が解消され、計算効率が向上した。
• 本研究は、トレースノルム正則化テンソル分類の最初の既知のアプローチを提示し、構造的テンソル学習分野における今後の研究の基盤を確立した。