[論文レビュー] Efficient support recovery via weighted maximum-contrast subagging

Jelena Bradić|arXiv (Cornell University)|Jun 14, 2013

Sparse and Compressive Sensing Techniques参考文献 16被引用数 1

ひとこと要約

本稿では、大規模かつ高次元の回帰設定における効率的な変数選択のための重み付き最大対比サブアギング手法を提案する。データを重複のないブロックに分割し、各ブロック内でランダムプロジェクションを適用して次元削減を行い、各投影された部分標本に罰則付き推定器を適合させ、最大対比投票方式を用いて結果をアグリゲートすることで、計算上の高速化を達成しながら最小最大最適な回復を実現する。この手法は、非表現条件を必要とせず、統計的最適性を保持する。

ABSTRACT

We introduce a very general method for sparse and large-scale variable selection. The large-scale regression settings is such that both the number of parameters and the number of samples are extremely large. The proposed method is based on careful combination of penalized estimators, each applied to a random projection of the sample space into a low-dimensional space. In one special case that we study in detail, the random projections are divided into non-overlapping blocks; each consisting of only a small portion of the original data. Within each block we select the projection yielding the smallest out-of-sample error. Our random ensemble estimator then aggregates the results according to new maximal-contrast voting scheme to determine the final selected set. Our theoretical results illuminate the effect on performance of increasing the number of non-overlapping blocks. Moreover, we demonstrate that statistical optimality is retained along with the computational speedup. The proposed method achieves minimax rates for approximate recovery over all estimators using the full set of samples. Furthermore, our theoretical results allow the number of subsamples to grow with the subsample size and do not require irrepresentable condition. The estimator is also compared empirically with several other popular high-dimensional estimators via an extensive simulation study, which reveals its excellent finite-sample performance.

研究の動機と目的

• 標本サイズとパラメータ数の両方が極めて大きい状況下でのスパースで大規模な変数選択の課題に対処すること。
• 高次元設定においても統計的最適性を維持する計算効率の良い手法を開発すること。
• 高次元選択手法で一般的に用いられる非表現条件への依存を排除すること。
• 完全なデータのサブセットのみを用いて、近似サポート回復の最小最大最適レートを達成すること。
• アンサンブルアグリゲーションにより、既存の高次元推定器と比較して有限標本性能を向上させること。

提案手法

• 全データセットを重複のないブロックに分割し、各ブロックに元のデータの小さなサブセットを含める。
• 各ブロック内で、標本空間のランダムプロジェクションを適用して次元を削減し、各投影された部分標本に罰則付き推定器を適合させる。
• 各ブロックにおける最良のプロジェクションは、最小の外再生誤差に基づいて選択される。
• アンサンブル推定器は、新しい最大対比投票方式を用いてブロック間の結果をアグリゲートし、最終的な変数集合を決定する。
• 投票機構は、選択された変数と除外された変数の間の対比に基づいて重みを割り当て、選択の正確性を向上させる。
• 理論的分析により、非重複ブロック数が増加するにつれて性能が向上することが示され、部分標本サイズが増大しても同様に成り立つ。

実験結果

リサーチクエスチョン

• RQ1 サブアギングに基づく手法は、非表現条件を必要とせずに高次元変数選択において最小最大最適な回復を達成できるか？
• RQ2 非重複ブロック数を増加させると、アンサンブル推定器の統計的性能にどのように影響するか？
• RQ3 提案手法は、大規模な設定において計算効率性を維持しながら、統計的最適性をどの程度保持できるか？
• RQ4 最大対比投票方式は、標準的なアグリゲーション手法と比較して、有限標本における選択正確性をどの程度向上させるか？
• RQ5 ランダムプロジェクションとサブサンプリングは、高次元回帰におけるサポート回復にどのような影響を及ぼすか？

主な発見

• 提案手法は、全データセットを用いたすべての推定器において、近似サポート回復の最小最大最適レートを達成する。
• 部分標本数が部分標本サイズとともに増大しても、非表現条件を必要とせず、統計的最適性が維持される。
• 広範なシミュレーションにおいて、提案手法は幾つかの代表的な高次元推定器を上回る優れた有限標本性能を示す。
• 非重複ブロック数が増加するにつれて性能が向上し、スケーラビリティとロバストネスが裏付けられる。
• 最大対比投票方式は、含まれた変数と除外された変数の間の強い対比を強調することで、選択正確性を効果的に向上させる。
• 大規模回帰問題において、理論的最適性を保持しながらも、顕著な計算高速化を実現できる。