[论文解读] Averaging orthogonal projectors

Eero Liski, Klaus Nordhausen+2 more|arXiv (Cornell University)|Oct 9, 2012

Advanced Statistical Methods and Models参考文献 19被引用 5

一句话总结

本文提出一种加权距离度量，用于平均来自不同降维方法的正交投影算子，即使子空间维度不同亦可适用。通过将Crone和Crosby距离推广并引入自适应权重，该方法生成平均正交投影算子（AOP），融合了多种技术的优势，在无监督和有监督设置的模拟实验中均优于单一方法。

ABSTRACT

Dimensionality is a major concern in analyzing large data sets. Some well known dimension reduction methods are for example principal component analysis (PCA), invariant coordinate selection (ICS), sliced inverse regression (SIR), sliced average variance estimate (SAVE), principal hessian directions (PHD) and inverse regression estimator (IRE). However, these methods are usually adequate of finding only certain types of structures or dependencies within the data. This calls the need to combine information coming from several different dimension reduction methods. We propose a generalization of the Crone and Crosby distance, a weighted distance that allows to combine subspaces of different dimensions. Some natural choices of weights are considered in detail. Based on the weighted distance metric we discuss the concept of averages of subspaces as well to combine various dimension reduction methods. The performance of the weighted distances and the combining approach is illustrated via simulations.

研究动机与目标

• 为解决单一降维方法仅能检测高维数据中特定类型结构的局限性。
• 开发一种统一框架，用于组合来自不同降维技术的多个正交投影算子，即使其对应的子空间维度不相等。
• 提出一种广义距离度量，使不同秩的投影算子能够实现有意义的平均。
• 通过无监督和有监督降维场景下的模拟实验，评估所提出的平均方法的性能。

提出的方法

• 将Crone和Crosby距离推广，以使用加权距离度量比较并平均具有不同维度的正交投影算子。
• 引入两种自然的权重函数 $w_b$ 和 $w_c$，以在平均过程中平衡不同秩子空间的影响。
• 将平均正交投影算子（AOP）定义为最小化与所有输入投影算子加权距离的投影算子。
• 在距离公式中使用投影算子的迹以及子空间维度的比值作为关键组成部分。
• 将AOP方法应用于组合七种降维方法的结果：PCA、SIR、SAVE、PHD、IRE、FOBI和PHDQ。
• 采用模拟研究，通过真实投影算子与估计投影算子之间的距离度量来评估AOP的性能。

实验结果

研究问题

• RQ1 如何对来自降维方法但具有不同子空间维度的正交投影算子进行有意义的比较与平均？
• RQ2 何种权重函数在组合多样化降维结果时表现最优？
• RQ3 AOP在检测不同模型下潜在数据结构方面，与单一降维方法相比表现如何？
• RQ4 当真实子空间维度未知或被估计时，AOP是否仍保持鲁棒性？
• RQ5 在何种场景下，AOP优于SIR、SAVE或PHD等单一方法？

主要发现

• AOP在检测多种潜在结构方面始终优于单一降维方法，尤其在SIR或SAVE仅能检测单一方向时表现更优。
• 基于 $w_c$ 权重函数的AOP通常优于基于 $w_b$ 的AOP，特别是在依赖类型混合的场景中。
• 使用估计 $k$ 的AOP估计结果几乎与使用已知 $k$ 的结果相当，表明对维度误设具有鲁棒性。
• 在线性依赖模型（M2）中，AOP成功识别出正确的1维子空间，而SIR和IRE表现良好，SAVE/PHD则失败。
• 在二次依赖模型（M3）中，AOP有效捕捉了正确的结构，而SIR和IRE完全失败，证实AOP具备抑制劣质估计的能力。
• PCA作为基线表现较差，始终表现不佳，原因在于其无监督性质且未考虑响应变量。