[論文レビュー] Multi-Target Shrinkage

Daniel Bartz, Johannes Höhne+1 more|arXiv (Cornell University)|Dec 5, 2014

Soil Geostatistics and Mapping参考文献 8被引用数 6

ひとこと要約

本稿では、古典的な縮小法の一般化であるマルチターゲットスリクティング（MTS）を紹介する。MTSは、不偏推定量を複数のターゲットベクトルへ同時に縮小することで、同時推定を可能にする。問題を二次計画法として定式化することにより、大次元漸近的枠組み下で期待二乗誤差を最適化し、複数のデータソース、グループ構造、非定常データを伴う高次元設定において、単一ターゲット縮小法よりも顕著に推定精度を向上させる。

ABSTRACT

Stein showed that the multivariate sample mean is outperformed by "shrinking" to a constant target vector. Ledoit and Wolf extended this approach to the sample covariance matrix and proposed a multiple of the identity as shrinkage target. In a general framework, independent of a specific estimator, we extend the shrinkage concept by allowing simultaneous shrinkage to a set of targets. Application scenarios include settings with (A) additional data sets from potentially similar distributions, (B) non-stationarity, (C) a natural grouping of the data or (D) multiple alternative estimators which could serve as targets. We show that this Multi-Target Shrinkage can be translated into a quadratic program and derive conditions under which the estimation of the shrinkage intensities yields optimal expected squared error in the limit. For the sample mean and the sample covariance as specific instances, we derive conditions under which the optimality of MTS is applicable. We consider two asymptotic settings: the large dimensional limit (LDL), where the dimensionality and the number of observations go to infinity at the same rate, and the finite observations large dimensional limit (FOLDL), where only the dimensionality goes to infinity while the number of observations remains constant. We then show the effectiveness in extensive simulations and on real world data.

研究の動機と目的

• 複数の有望な推定量またはデータソースが存在する状況における、単一ターゲット縮小法の限界を解消すること。
• 高次元設定における推定精度の向上を目的として、複数のターゲットへの同時縮小を可能にする一般的なフレームワークの構築。
• 大次元極限（LDL）および有限標本大次元極限（FOLDL）の下で、MTSの理論的最適性条件の確立。
• 実世界のデータおよびシミュレーションを通じて、特にトランスファーラーニング、非定常、グループ化されたデータの状況においてMTSの有効性を示すこと。

提案手法

• 期待二乗誤差を最小化するように最適に組み合わせた不偏推定量と複数のターゲット推定量を用いて、MTSを二次計画法として定式化する。
• 極限において期待二乗誤差が最適化されるように、縮小強度の解析的条件を導出する。この条件は、標本平均および標本共分散推定量の両方に適用可能である。
• 2つの漸近的枠組みを導入する：次元と標本サイズが比例して増加する大次元極限（LDL）と、次元は増加するが標本サイズが固定される有限標本大次元極限（FOLDL）。
• 集中不等式とモーメントバウンドを用いて、これらの漸近的枠組み下でMTS推定量の一致性を証明する。
• 共分散推定および線形判別分析にこのフレームワークを適用し、より高いロバストネスと精度を示す。
• 手書き数字データを用いた広範なシミュレーションおよび実世界の実験を通じて、ターゲット数の増加に伴い二乗誤差が減少することを実証する。

実験結果

リサーチクエスチョン

• RQ1 複数の候補となるターゲットが存在する状況において、単一ターゲットに限らない縮小推定を一般化することは可能か？
• RQ2 高次元漸近的枠組み下で、マルチターゲットスリクティングが期待二乗誤差を最適化する理論的条件は何か？
• RQ3 複数のデータソース、グループ構造、または非定常分布を伴う状況において、MTSは単一ターゲット縮小法と比較してどのように性能を発揮するか？
• RQ4 大次元極限（LDL）および有限標本大次元極限（FOLDL）の下で、MTS推定量の漸近的性質は何か？
• RQ5 MTSは、トランスファーラーニングや高次元データにおける共分散推定といった実世界の問題に効果的に応用可能か？

主な発見

• MTSは単一ターゲット縮小法（STS）と比較して推定誤差を顕著に低減する。手書き数字の例では、二乗誤差をSTSの9.4から6.4にまで低下させ、個々のターゲットよりも優れた性能を示した。
• 43個のターゲットを用いた場合、MTSは平均二乗誤差を5.6に達成し、より多くのターゲットを組み込むほど誤差が単調に減少することを示した。
• 理論的解析により、MTS推定量はLDLおよびFOLDLの両枠組み下で一貫性を示すことが判明した。適切なモーメント条件の下では、分散項が信号項に対して消える。
• FOLDL設定下では、縮小推定量の分散はo(p²τ̂θ)であり、弱いモーメント仮定のもとで、縮小強度の推定は一貫性を示す。
• 縮小重みが二次計画法によって導出された場合、MTSは弱い正則性条件のもとで理論的保証を伴い、期待二乗誤差を最適化する。
• 実証的結果により、MTSはトランスファーラーニング、非定常、グループ化されたデータの状況において、標準的な縮小法を上回ることを確認した。特に、複数の情報的ターゲットが存在する状況で顕著な性能向上が得られた。