[論文レビュー] Averaging orthogonal projectors

Eero Liski, Klaus Nordhausen+2 more|arXiv (Cornell University)|Oct 9, 2012

Advanced Statistical Methods and Models参考文献 19被引用数 5

ひとこと要約

本稿では、次元が異なる部分空間を有する多様な次元削減手法から得られる直交射影子を平均化するための重み付き距離尺度を提案する。CroneとCrosbyの距離を一般化し、適応的重みを用いることで、複数の手法の長所を組み合わせた平均直交射影子（AOP）を生成する。シミュレーションにおいて、教師ありおよび教師なしの設定の両方で、個々の手法を上回る性能を示す。

ABSTRACT

Dimensionality is a major concern in analyzing large data sets. Some well known dimension reduction methods are for example principal component analysis (PCA), invariant coordinate selection (ICS), sliced inverse regression (SIR), sliced average variance estimate (SAVE), principal hessian directions (PHD) and inverse regression estimator (IRE). However, these methods are usually adequate of finding only certain types of structures or dependencies within the data. This calls the need to combine information coming from several different dimension reduction methods. We propose a generalization of the Crone and Crosby distance, a weighted distance that allows to combine subspaces of different dimensions. Some natural choices of weights are considered in detail. Based on the weighted distance metric we discuss the concept of averages of subspaces as well to combine various dimension reduction methods. The performance of the weighted distances and the combining approach is illustrated via simulations.

研究の動機と目的

• 高次元データに内在する特定のタイプの構造しか検出できない個々の次元削減手法の限界を解消すること。
• 次元が異なる部分空間を有する複数の直交射影子を統合する統一的なフレームワークを構築すること、特に次元が異なる場合でも有効であるようにすること。
• 異なるランクを有する射影子の意味的な平均化を可能にする一般化された距離尺度を提案すること。
• 教師ありおよび教師なしの次元削減のシナリオにおいて、提案手法の性能をシミュレーションにより評価すること。

提案手法

• CroneとCrosbyの距離を一般化し、次元が異なる直交射影子の比較と平均化を可能にする重み付き距離尺度を導入する。
• 平均化プロセスにおける異なるランクの部分空間の影響をバランスさせる2つの自然な重み関数、$w_b$ と $w_c$ を導入する。
• 平均直交射影子（AOP）を、すべての入力射影子との重み付き距離を最小にする射影子として定義する。
• 距離式の主要構成要素として、射影子のトレースと部分空間次元比を用いる。
• PCA、SIR、SAVE、PHD、IRE、FOBI、PHDQ の7つの次元削減手法からの結果を組み合わせるためにAOP手法を適用する。
• 真の射影子と推定射影子との距離を指標として用い、シミュレーションスタディによりAOPの性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 次元が異なる部分空間を有する次元削減手法からの直交射影子を、どのように意味的に比較・平均化できるか？
• RQ2 多様な次元削減結果を統合する際に、最適な性能を発揮する重み関数は何か？
• RQ3 さまざまなモデルにおいて、AOPは個々の次元削減手法と比較して、元のデータ構造をどれほど正しく検出できるか？
• RQ4 真の部分空間次元 $k$ が不明または推定値として与えられた場合、AOPはどれほど頑健であるか？
• RQ5 どのような状況下で、SIR や SAVE や PHD よりもAOPが優れた性能を示すか？

主な発見

• AOPは、SIR や SAVE が1つの方向しか検出できない場合でも、複数の潜在的構造を検出する点で、個々の次元削減手法を一貫して上回る。
• AOPの性能は、$w_c$ 重み関数を用いた場合、$w_b$ を用いた場合よりも一般に優れている。特に、混合された従属関係タイプのシナリオで顕著である。
• 真の $k$ が推定値として与えられた場合のAOP推定値は、真の $k$ が既知の状況とほぼ同等の性能を示し、次元の誤指定に対しても頑健であることが示された。
• 線形従属モデル（M2）では、AOPは正しい1次元部分空間を正しく特定した。一方、SIR や IRE は良好に機能したが、SAVE や PHD は失敗した。
• 2次従属モデル（M3）では、AOPは正しい構造を効果的に捉えたが、SIR や IRE は完全に失敗した。これにより、AOPが劣悪な推定値を抑制できる能力が裏付けられた。
• PCAは、その非教師あり性と応答変数を考慮しない点から、常に劣ったベースラインとして機能した。