[論文レビュー] Support recovery via weighted maximum-contrast subagging

Jelena Bradić|arXiv (Cornell University)|Jun 14, 2013

Sparse and Compressive Sensing Techniques被引用数 3

ひとこと要約

本稿では、大規模なスパース回帰における信頼性の高いサポート回復を可能にするために、Lasso推定量の標準的なサブアギングのランダム化および平滑化された代替手法として、重み付き最大対比サブアギングを提案する。個々の推定量がオラクルに類似した性質を備えていなくても、誤検出と見逃しの両方をきめ細かく制御でき、適応的チューニングと最適な重み付けによってオラクルに類似した性能を達成する。

ABSTRACT

Abstract. In this paper, we study finite sample properties of subagging for non-smooth estimation and model selection in sparse and large-scale regression settings where both the number of parameters and the number of samples can be extremely large. This setup is very different from high-dimensional regression and is such that Lasso estimator might be inappropriate for computational, rather than statistical rea-sons. We show that subagging of Lasso estimators results in discontinuous estimated support set and is never able to recover sparsity set when at least one of aggregated es-timators has probability of support recovery strictly less than 1. Therefore, we propose its randomized and smoothed alternative, which we call weighted maximum-contrast subagging. We develop theory in support of the claim that proposed method has tight error control over both false positives and false negatives, regardless of the size of a dataset. Unlike existing methods, it allows for oracle-like properties, even in cases of non-oracle-like properties of aggregated estimators. Furthermore, we design an adaptive procedure for selecting tuning parameters and appropriate optimal weight-ing scheme. Finally, we validate our theoretical findings through extensive simulation study and analysis of a part of the million-song-challenge dataset.

研究の動機と目的

• 個々の推定量がオラクルに類似した性質を備えていない場合でも、不連続なサポート推定による標準的サブアギングの失敗により、大規模で非滑らかである回帰において真のスパースリティ集合の回復に失敗する問題に対処する。
• サブアギングが、どの集約推定量にも100％の正しくサポートを回復する確率がなければ、サポート回復を達成できないという制限を克服する。
• データセットのサイズにかかわらず、誤検出と見逃しの両方をきめ細かく制御する手法を開発する。
• 個々のLasso推定量がオラクルに類似した性質を備えていなくても、サポート回復においてオラクルに類似した性能を達成できるようにする。
• 実効的性能を向上させるために、チューニングパラメータと最適な重み付けのための適応的手続きを設計する。

提案手法

• サポート推定の安定性を高めるために、重みと対比関数に基づく集約を導入することで、サブアギングのランダム化および平滑化された変種、すなわち重み付き最大対比サブアギングを提案する。
• 複数のLasso推定量を対比関数を用いて重み付き最大対比集約することで、サポート回復の安定性を向上させるスキームを採用する。
• データの特性に応じて調整可能な適応的チューニングパラメータ選択手順を導入し、性能を最適化する。
• 推定誤差を最小化し、スパースリティ回復の一貫性を向上させる最適な重み付けスキームを設計する。
• 理論的分析を活用して、一般の条件下でも誤検出率および見逃し率のきめ細かな制御を維持できることを示す。
• ミリオン・ソング・チャレンジデータセットのサブセットを含む大規模データセットに本手法を適用し、実効的性能を検証する。

実験結果

リサーチクエスチョン

• RQ1 個々の推定量のサポート回復確率が1未満である場合、標準的サブアギングは大規模でスパースな回帰において真のサポート集合を信頼性高く回復できるか？
• RQ2 サブアギングのランダム化および平滑化された代替手法、すなわち重み付き最大対比サブアギングは、誤検出と見逃しの両方をよりきめ細かく制御できるか？
• RQ3 提案手法は、集約されたLasso推定量がオラクルに類似した性質を備えていなくても、オラクルに類似したサポート回復性能を達成できるか？
• RQ4 有限標本における重み付き最大対比サブアギングの性能を最適化するための適応的チューニングおよび重み付け戦略は何か？
• RQ5 実世界の大規模データセット、たとえばミリオン・ソング・チャレンジデータセットのサブセットにおいて、本手法はどのように実効的に性能を発揮するか？

主な発見

• 標準的サブアギングでは、集約された推定量のサポート回復確率が1未満である場合、真のスパースリティ集合を回復できない。
• 重み付き最大対比サブアギングは、データセットのサイズにかかわらず、誤検出率および見逃し率の両方をきめ細かく制御する。
• 個々の推定量がオラクルに類似した性質を備えていなくても、本手法はオラクルに類似したサポート回復性能を達成できる。
• 適応的チューニングおよび最適な重み付けスキームは、有限標本における性能およびサポート回復の正確性を顕著に向上させる。
• ミリオン・ソング・チャレンジデータセットのサブセットを用いた実効的検証により、理論的結果が確認され、実世界の環境でも頑健性が示された。
• 本手法は、大規模回帰におけるサポート回復の一貫性および誤差制御の観点で、標準的サブアギングを上回る性能を発揮する。