[論文レビュー] Distributed Feature Screening via Componentwise Debiasing

Xingxiang Li, Runze Li+2 more|arXiv (Cornell University)|Mar 9, 2019

Face and Expression Recognition参考文献 15被引用数 27

ひとこと要約

本稿では、高次元の大規模データに対する効率的でスケーラブルな特徴選択を可能にする分散特徴スクリーニングフレームワークである集約相関スクリーニング（ACS）を提案する。この手法は、相関尺度をデータセグメントごとに推定可能なU統計量を用いた成分パラメータに分解することで実現される。この方法により、中央集権的推定と同等の完全な統計的効率性を達成し、データセグメント数に依存しない収束速度を有し、やや緩い条件下でも確実なスクリーニング性を保証する。

ABSTRACT

Feature screening is a powerful tool in the analysis of high dimensional data. When the sample size $N$ and the number of features $p$ are both large, the implementation of classic screening methods can be numerically challenging. In this paper, we propose a distributed screening framework for big data setup. In the spirit of "divide-and-conquer", the proposed framework expresses a correlation measure as a function of several component parameters, each of which can be distributively estimated using a natural U-statistic from data segments. With the component estimates aggregated, we obtain a final correlation estimate that can be readily used for screening features. This framework enables distributed storage and parallel computing and thus is computationally attractive. Due to the unbiased distributive estimation of the component parameters, the final aggregated estimate achieves a high accuracy that is insensitive to the number of data segments $m$ specified by the problem itself or to be chosen by users. Under mild conditions, we show that the aggregated correlation estimator is as efficient as the classic centralized estimator in terms of the probability convergence bound; the corresponding screening procedure enjoys sure screening property for a wide range of correlation measures. The promising performances of the new method are supported by extensive numerical examples.

研究の動機と目的

• サンプルサイズNと特徴数pの両方が大きい場合に、古典的手法の計算非効率性を解消すること。
• 大規模データ特徴スクリーニングに適した並列処理とスケーラブルなストレージを可能にする分散フレームワークの開発。
• 集約相関推定量がデータセグメント数にかかわらず中央集権的推定と同等の統計的効率性を維持することの保証。
• やや緩い正則性条件の下で、確実なスクリーニング性に関する理論的保証の確立。
• 極めて大規模なデータセットや分散データソースが存在する環境における高次元データ解析の計算的に魅力的な解決策の提供。

提案手法

• 相関尺度を、データセグメントごとに独立に推定可能な成分パラメータに分解する。
• m個のデータセグメントにわたって、各成分パラメータの不偏で分散推定を得るためにU統計量を用いる。
• 成分推定量を統合して、中央集権的推定と漸近的に同等の最終的相関推定量を構築する。
• データセグメンテーションによって生じる推定バイアスを補正するため、成分別デバイアス補正をU統計量を用いて実行する。
• 集約された成分推定量の関数を用いて最終的なスクリーニング統計量を構築し、モデルフリーで頑健なスクリーニングを実現する。
• 分割統治戦略を活用して計算を複数のマシンに分散させ、分散ストレージと並列処理を支援する。

実験結果

リサーチクエスチョン

• RQ1 分散特徴スクリーニングフレームワークは、高次元の大規模データ環境において、中央集権的推定と同等の統計的効率性を達成できるか？
• RQ2 データセグメント数mが、集約相関推定量の精度および収束にどのように影響するか？
• RQ3 提案手法は、やや緩い正則性条件の下で、距離相関、ケンドールのtau、分布関数に基づくなど広範な相関尺度クラスに対して、確実なスクリーニング性を保持するか？
• RQ4 自然に複数のソースやストレージシステムに分散しているデータを処理できるか？
• RQ5 スクリーニング手順の収束速度および選択の一貫性に関する理論的保証は、どのようなものとなるか？

主な発見

• 集約相関推定量は、古典的な中央集権的推定量と同一の確率的収束バインディングを達成し、完全な統計的効率性を保証する。
• 推定量の収束速度は、データセグメント数mに依存せず、自由に選択可能またはシステム制約に従って決定可能である。
• 距離相関、ケンドールのtau、分布関数に基づくなど、広範な相関尺度クラスに対して、確実なスクリーニング性が保証される。
• 数値実験では強力な実効性が示され、大規模データセットにおいて計算時間を著しく短縮している（例：DC-SISの60時間がACSで数分に短縮）。
• 理論的分析により、分散計算下でも真の信号を逃す確率がサンプルサイズとともに指数関数的に減少することが確認された。
• フレームワークはモデルフリーなスクリーニングをサポートし、極端値や複雑なデータ構造に対しても頑健であることが、広範なシミュレーションで検証された。