[論文レビュー] Cross-validation based Nonlinear Shrinkage

Daniel Bartz|arXiv (Cornell University)|Nov 2, 2016

Face and Expression Recognition参考文献 1被引用数 6

ひとこと要約

本稿では、10-fold交差検証と等単調回帰を用いて固有値を補正することで、計算効率の高い共分散推定器である非線形縮小に基づく交差検証（CVC）を提案する。この手法は、最先端の非線形縮小（NLS）手法と同等の性能を達成しながら、実行時間と複雑さを著しく削減する。CVCは、実世界のファイナンスおよびEEGデータにおいて、NLS、縮小、要因モデルをすべて上回り、著しく優れた実用性を示す、同等またはそれ以上の推定精度を発揮する。

ABSTRACT

Many machine learning algorithms require precise estimates of covariance matrices. The sample covariance matrix performs poorly in high-dimensional settings, which has stimulated the development of alternative methods, the majority based on factor models and shrinkage. Recent work of Ledoit and Wolf has extended the shrinkage framework to Nonlinear Shrinkage (NLS), a more powerful covariance estimator based on Random Matrix Theory. Our contribution shows that, contrary to claims in the literature, cross-validation based covariance matrix estimation (CVC) yields comparable performance at strongly reduced complexity and runtime. On two real world data sets, we show that the CVC estimator yields superior results than competing shrinkage and factor based methods.

研究の動機と目的

• ランダム行列理論に基づく最先端の共分散推定器である非線形縮小（NLS）の、より計算効率の良い代替手法を開発すること。
• 高次元設定において実用的でないほど高い計算コストと数値的不安定性を示すNLSの問題を解決すること。
• 交差検証に基づく固有値補正が、NLSと同等またはそれを上回る性能を達成できるかどうかを評価すること。
• ファイナンスおよび神経科学分野の実世界データ（共分散推定が極めて重要である分野）において、提案手法の汎用性をテストすること。
• NLSが最適な手法であるという主張に挑戦し、より単純で交差検証に基づくアプローチが実際の応用においてそれを上回ることを示すこと。

提案手法

• CVCは、NLSと同一の期待二乗誤差損失関数を最小化するために、10-fold交差検証を用いて補正された固有値を推定する。
• 各foldについて、訓練セット上で共分散行列を推定し、検証セット上で等単調回帰を用いて固有値補正を学習する。
• 最終的な推定器は、すべてのfoldからの補正済み固有値を組み合わせ、全サンプル分解からの元の固有ベクトルを保持する。
• NLSが要請する複雑で凸でない最適化を回避し、代わりに固有値の単調な補正に等単調回帰を用いる。
• CVCは、NLSが全サンプルの固有分解を必要とするのに対し、10回の固有分解のみを必要とする計算的に効率の良いアプローチで実装される。
• このアプローチは数値的に安定しており、NLS最適化でしばしば発生する収束問題を回避する。

実験結果

リサーチクエスチョン

• RQ1 交差検証に基づく手法が、NLSと同等の推定精度を達成しながら、著しく高速かつ単純にできるか？
• RQ2 CVCは、実世界の高次元データにおいて、既存の縮小および要因ベースの共分散推定器を上回るか？
• RQ3 CVCの計算複雑さは十分に低く、実応用においてNLSの実用的代替手段として十分か？
• RQ4 ノイズや要因構造でない構造を含むデータにおいて、CVCは性能を発揮するか？（要因モデルが失敗する可能性がある状況）
• RQ5 理論的保証がなくても、交差検証を用いた等単調回帰による固有値補正が、頑健で安定した結果を提供できるか？

主な発見

• シミュレーションにおいてCVCはNLSと同等の推定精度を達成し、ポートフォリオリスクの平均絶対偏差が66.7·10³に留まり、最良の手法と同等の性能を示した。
• EU市場において、CVCは競合モデルと比較してポートフォリオリスクを顕著に低減（3.81·10³）し、ランダム化検定でp値 < 0.05を達成した。
• EEG分類において、CVC-LDAは全ノイズレベルで93.73%の精度を達成し、aoc-Shrinkage（93.27%）およびすべての要因モデルを顕著に上回った。
• 実行時間解析では、CVC（10-fold）はNLSよりも著しく高速であり、10-foldバージョンはNLSに比べて計算的に無視できるほどであった。
• EEGデータにおけるさまざまなノイズレベルでもCVCは一貫した性能を維持したが、要因モデルはノイズ下で著しく劣化したため、非要因構造に対して頑健であることが示された。
• 結果として、CVCは、縮小および要因モデルを凌駕する優れた汎用的共分散推定器であることが示された。多様な実世界データセットにおいて、多様な分野で優れた性能を発揮した。