[論文レビュー] Using Deep Neural Networks to Automate Large Scale Statistical Analysis for Big Data Applications

Rongrong Zhang, Wei Deng+1 more|arXiv (Cornell University)|Aug 9, 2017

Data Stream Mining Techniques被引用数 6

ひとこと要約

本稿では、畳み込みニューラルネットワーク（CNN）を用いて、合成されたラベル付きデータで訓練されたニューラルモデルセレクタとニューラルパラメータ推定器を活用することで、ビッグデータにおける統計的分析の自動化を提案する。両モデルともシミュレーションおよび実世界の応用において高い正確性を達成し、AI駆動の統計的分析の実現可能性を示している。

ABSTRACT

Statistical analysis (SA) is a complex process to deduce population properties from analysis of data. It usually takes a well-trained analyst to successfully perform SA, and it becomes extremely challenging to apply SA to big data applications. We propose to use deep neural networks to automate the SA process. In particular, we propose to construct convolutional neural networks (CNNs) to perform automatic model selection and parameter estimation, two most important SA tasks. We refer to the resulting CNNs as the neural model selector and the neural model estimator, respectively, which can be properly trained using labeled data systematically generated from candidate models. Simulation study shows that both the selector and estimator demonstrate excellent performances. The idea and proposed framework can be further extended to automate the entire SA process and have the potential to revolutionize how SA is performed in big data analytics.

研究の動機と目的

• 伝統的な統計的分析（SA）は時間がかかり、専門家の関与を必要とするが、ビッグデータにおけるSAの自動化の課題に対処する。
• 深層ニューラルネットワークを用いて、モデル選択とパラメータ推定を機械学習の分類問題および回帰問題に再定式化する。
• 合成的に生成されたデータで訓練されたニューラルモデルセレクタおよびニューラルパラメータ推定器を開発・検証し、正確で自動化されたSAを実現する。
• 複雑な回帰モデルも含む、実世界のビッグデータに対して、提案フレームワークのスケーラビリティおよびロバスト性を示す。
• 将来的なAI駆動のエンドツーエンドの統計的分析パイプラインの自動化の基盤を築く。

提案手法

• 候補となるモデルのラベル付きデータを用いて、データをその生成元の統計的モデルに分類する『ニューラルモデルセレクタ』としての畳み込みニューラルネットワーク（CNN）を構築する。
• 各サンプルが真の潜在的モデル（例：線形回帰、ロジスティック回帰、ポisson回帰）にラベル付けされた大規模な合成データセットで、ニューラルモデルセレクタを訓練する。
• 従来の推定法（例：最尤推定や最小二乗法）を回避し、データから直接パラメータを予測する『ニューラルパラメータ推定器』としての第二のCNNを設計する。
• 一般化を確保するため、さまざまなサンプルサイズおよびモデル設定で、体系的なシミュレーションを用いて訓練・検証・テストデータを生成する。
• Caffeなどの深層学習フレームワークを用いてCNNを訓練し、トップ1およびトップ2の正確性、KS距離、BICなどの指標を用いて性能を評価する。
• コミュニティと犯罪データセットのような高次元データセットのサブサンプルに、訓練済みのセレクタを適用することで、多変量モデルおよび実世界のデータに対応するフレームワークを拡張する。

実験結果

リサーチクエスチョン

• RQ1 人為的入力なしで、データサンプルから正しい統計的モデルを特定するために、深層ニューラルネットワークを効果的に訓練できるか？
• RQ2 モデル構造が未知の状況において、深層ニューラルネットワークは従来の統計的推定法に比べて、パラメータをどれほど正確に推定できるか？
• RQ3 提案されたフレームワークは、高次元性と複雑な依存関係を有する実世界のビッグデータに一般化可能か？
• RQ4 サンプルサイズおよびモデルの複雑さが、ニューラルモデルセレクタおよび推定器の性能にどのように影響するか？
• RQ5 ニューラルモデルセレクションとパラメータ推定の統合により、統計的分析パイプラインの完全な自動化が可能になるか？

主な発見

• K=20のモデル、N=100の条件下で、ニューラルモデルセレクタはトップ1の正確性が92.1%、トップ2の正確性が99.2%を達成し、BIC やベイズ因子といった従来手法を著しく上回った。
• N=900の条件下では、ニューラルセレクタのトップ1正確性が97.9%、トップ2正確性が99.7%に達し、シミュレーション研究においてすべてのベンチマーク手法を上回った。
• 複数の共変数を有する回帰モデルにおいて、N=100の時点で87.86%の正確性、N=400の時点で97.86%の正確性を達成し、優れた一般化性能を示した。
• コミュニティと犯罪データセットを用いた実データ応用において、訓練済みのニューラルモデルセレクタは90個の予測変数を、それぞれの最も可能性の高い統計的モデルに正常に分類した。
• ニューラルパラメータ推定器は正確なパラメータ推定値を生成し、実データ例では推定密度が実測分布と密接に一致した。
• このフレームワークは、統計的分析のエンドツーエンド自動化の強力な可能性を示しており、AI駆動のビッグデータ分析へのパラダイムシフトを示唆している。