[論文レビュー] Generalized High-Dimensional Trace Regression via Nuclear Norm Regularization

Jianqing Fan, Wenyan Gong+1 more|arXiv (Cornell University)|Oct 23, 2017

Sparse and Compressive Sensing Techniques参考文献 29被引用数 5

ひとこと要約

本稿では、多様な統計的・計量経済学的設定において近似低ランク行列係数を推定するため、核ノルム正則化を施した一般化された高次元トレース回帰モデルを提案する。実現された負対数尤度に核ノルムペナルティを適用することで、線形モデル、低ランクモデル、行列補完モデルの各分野において、対数因子を除いてミニマックス最適レートを達成する。実証的検証では、正則化なしまたはスパarsityに基づく代替手法に比べ、株式リターン予測および画像分類の両分野で性能が向上していることが示された。

ABSTRACT

We study the generalized trace regression with a near low-rank regression coefficient matrix, which extends notion of sparsity for regression coefficient vectors. Specifically, given a matrix covariate $X$, the probability density function $f(Y\vert X)=c(Y)\exp{(ϕ^{-1}\left[-Yη^* + b(η^*) ight])}$, where $η^*=tr({Θ^*}^TX)$. This model accommodates various types of responses and embraces many important problem setups such as reduced-rank regression, matrix regression that accommodates a panel of regressors, matrix completion, among others. We estimate $Θ^*$ through minimizing empirical negative log-likelihood plus nuclear norm penalty. We first establish a general theory and then for each specific problem, we derive explicitly the statistical rate of the proposed estimator. They all match the minimax rates in the linear trace regression up to logarithmic factors. Numerical studies confirm the rates we established and demonstrate the advantage of generalized trace regression over linear trace regression when the response is dichotomous. We also show the benefit of incorporating nuclear norm regularization in dynamic stock return prediction and in image classification.

研究の動機と目的

• 異なる応答タイプにわたる近似低ランク係数行列を有する高次元トレース回帰の統一的フレームワークの構築を目的とする。
• 一般化線形モデルにおける核ノルム正則化推定量の理論的統計的レートの確立を目的とする。
• 金融予測や画像分類といった低ランク構造を有する設定において、核ノルム正則化がスパarsityに基づく手法を上回る優位性を示すことを目的とする。
• 古典的トレース回帰を、バイナリ応答、連続応答、行列値応答を含む一般化線形モデルへと拡張することを目的とする。
• 動的株式リターン予測およびCIFAR10画像分類の両分野で実証的に検証し、低ランク正則化による一貫した性能向上を示すこと。

提案手法

• 応答の条件付き平均が係数行列と共変数行列の積のトレースに依存する一般化されたトレース回帰モデルを定式化する。
• 未知の係数行列を、核ノルムペナルティを課した実現された負対数尤度の最小化により推定し、低ランク構造を誘導する。
• 線形トレース回帰におけるミニマックスレートに対数因子を除いて一致する理論的誤差バインディングを導出する。
• 低ランク回帰、行列補完、動的パネルモデルなどの特定のモデルに本手法を適用する。
• 時系列応用にはローリングウインドウ法を用い、3年間のデータウインドウを月次で再推定する。
• 畳み込みニューラルネットワークを用いて384次元の特徴を抽出し、それを24×16行列に再形状し、核ノルム正則化を施した一般化されたトレース回帰を分類に適用する。

実験結果

リサーチクエスチョン

• RQ1 真の係数行列が近似的に低ランクである場合、核ノルム正則化が高次元トレース回帰における推定精度を向上させ得るか？
• RQ2 核ノルム正則化推定量の統計的レートは、一般化されたトレース回帰モデルにおいてミニマックス最適レートと一致するか？
• RQ3 株式リターン予測および画像分類において、本手法は正則化なしまたはℓ1正則化の代替手法に比べてどのように比較されるか？
• RQ4 係数行列に低ランク構造が存在する場合、スパarsityよりも性能が優れる設定はどのようなものか？
• RQ5 一般化されたトレース回帰フレームワークは、正規分布でない非線形応答分布に対しても効果的に対処できるか？

主な発見

• 核ノルム正則化推定量は、すべての検討されたモデルにおいて、線形トレース回帰におけるミニマックス最適レートに、対数因子を除いて一致する統計的レートを達成した。
• 動的株式リターン予測において、核ノルム正則化モデルは平均53.89%の精度を達成し、正則化なしのモデル（52.74%）および決定的ベンチマーク（51.62%）を上回った。
• CIFAR10画像分類タスクでは、核ノルム正則化がλ=0.05でピークテスト精度76.17%を達成し、ℓ1正則化（λ=0.002で75.90%）および正則化なしベースライン（74.30%）を上回った。
• リターン予測では20銘柄中18銘柄で、決定的ベンチマークと比較して15銘柄中15銘柄で本手法が優れた性能を示した。
• 実証的結果から、深層ニューラルネットワーク特徴量には低ランク構造が存在することが示唆され、画像分類において核ノルム正則化がℓ1正則化よりも効果的であることがわかった。
• 月次再推定を伴うローリングウインドウ実装は安定した性能を維持しており、時間的に変化する環境下でも本手法の頑健性が確認された。