[論文レビュー] Optimal Rates of Convergence of Transelliptical Component Analysis

Fang Han, Han Liu|arXiv (Cornell University)|May 29, 2013

Advanced Statistical Methods and Models参考文献 39被引用数 1

ひとこと要約

本稿は、スパースおよびスパースでない設定の両方において、トランス楕円的主成分分析（TCA）の最適収束速度を確立する。符号サブガウス型条件の下で、TCAは改善された収束速度を達成し、特にスパースでない場合、対数因子を除いて最適な収束速度に達する。これにより、トランス楕円的分布の下での高次元PCAの理論的保証が強化される。

ABSTRACT

Han and Liu (2012) proposed a method named transelliptical component analysis (TCA) for conducting scale-invariant principal component analysis on high dimensional data with transelliptical distributions. The transelliptical family assumes that the data follow an elliptical distribution after unspecified marginal monotone transformations. In a double asymptotic framework where the dimension d is allowed to increase with the sample size n, Han and Liu (2012) showed that one version of TCA attains a “nearly parametric ” rate of convergence in parameter estimation when the parameter of interest is assumed to be sparse. This paper improves upon their results in two aspects: (i) Under the non-sparse setting (i.e., the parameter of interest is not assumed to be sparse), we show that a version of TCA attains the optimal rate of convergence up to a logarithmic factor; (ii) Under the sparse setting, we also lay out venues to analyze the performance of the TCA estimator proposed in Han and Liu (2012). In particular, we provide a “sign subgaussian condition ” which is sufficient for TCA to attain an improved rate of convergence and verify a subfamily of the transelliptical distributions satisfying this condition.

研究の動機と目的

• スパarsityが仮定されない非スパース設定における、トランス楕円的主成分分析（TCA）の最適収束速度を確立すること。
• スパース設定を超えて、一般条件の下でTCAの理論的分析を拡張し、収束保証を提供すること。
• TCAが改善された収束速度を達成するための十分条件として「符号サブガウス型条件」と呼ばれる条件を同定すること。
• トランス楕円的分布の一部の部分族が符号サブガウス型条件を満たすことを検証し、改善された収束速度結果の実用的妥当性を裏付けること。
• 特に次元dが標本サイズnとともに増加する高次元漸近枠組みにおいて、TCAの理論的基盤を洗練・強化すること。

提案手法

• 標本サイズnと次元dの両方が増加する二重漸近枠組みを採用し、dがnとともに増加することを許容する。
• 本稿では、スパースおよびスパースでないパrameter構造の両方の設定において、TCA推定量の収束速度を導出する。
• 主な技術的貢献として、「符号サブガウス型条件」の導入と分析を行い、変換されたデータ成分の尾部挙動を特徴づける。
• トランス楕円的モデルが誘導する依存構造と集中不等式を用いて、TCA推定量のリスクバウンドを導出する。
• 理論的結果は、経験過程理論と変換されたデータのモーメント条件の組み合わせによって確立される。
• 特定のトランス楕円的分布の部分族が符号サブガウス型条件を満たすことを検証し、改善された収束速度の導出を可能にする。

実験結果

リサーチクエスチョン

• RQ1 非スパース設定におけるトランス楕円的主成分分析の最適収束速度は何か？
• RQ2 TCAが標準的な収束速度を超えて改善された収束速度を達成できる条件は何か？
• RQ3 符号サブガウス型条件は、意味のあるトランス楕円的分布の部分族に対して成り立つか？
• RQ4 高次元設定において、TCAの性能はパラメトリック手法と比べてどうか？
• RQ5 TCAの理論的保証は、スパースパラメータ仮定を超えて拡張可能か？

主な発見

• 非スパース設定では、TCAの特定のバージョンが対数因子を除いて最適な収束速度に達する。
• 符号サブガウス型条件は、TCAが改善された収束速度を達成するための十分条件であると同定された。
• トランス楕円的分布の一部の部分族が符号サブガウス型条件を満たし、その実用的妥当性が裏付けられた。
• 符号サブガウス型条件の下で、TCAはHanとLiu（2012）で以前に確立されたものよりも速い収束速度を達成する。
• 理論的結果により、TCAが元のパラメータがスパースでない場合でも、強力な有限標本性能を維持することが確認された。
• 本分析により、TCAの高次元漸近的挙動に対する洗練された理解が得られ、パラメトリックとノンパラメトリックな収束速度の間のギャップが埋められた。