[논문 리뷰] Using Deep Neural Networks to Automate Large Scale Statistical Analysis for Big Data Applications

Rongrong Zhang, Wei Deng외 1명|arXiv (Cornell University)|2017. 08. 09.

Data Stream Mining Techniques인용 수 6

한 줄 요약

이 논문은 대규모 데이터에서 통계 분석을 자동화하기 위해 합성곱 신경망(CNN)을 사용하는 것을 제안한다. 이는 자동 모델 식별을 위한 신경망 기반 모델 선택기와 파라미터 추론을 위한 신경망 기반 파라미터 추정기를 개발한다. 합성적으로 생성된 레이블된 데이터로 훈련된 두 모델은 시뮬레이션과 실제 응용에서 높은 정확도를 달성하여 인공지능 기반 통계 분석의 가능성을 입증한다.

ABSTRACT

Statistical analysis (SA) is a complex process to deduce population properties from analysis of data. It usually takes a well-trained analyst to successfully perform SA, and it becomes extremely challenging to apply SA to big data applications. We propose to use deep neural networks to automate the SA process. In particular, we propose to construct convolutional neural networks (CNNs) to perform automatic model selection and parameter estimation, two most important SA tasks. We refer to the resulting CNNs as the neural model selector and the neural model estimator, respectively, which can be properly trained using labeled data systematically generated from candidate models. Simulation study shows that both the selector and estimator demonstrate excellent performances. The idea and proposed framework can be further extended to automate the entire SA process and have the potential to revolutionize how SA is performed in big data analytics.

연구 동기 및 목표

• 기존의 통계 분석이 시간이 오래 걸리고 전문가의 간섭이 필요하므로, 대규모 데이터에 대한 통계 분석 자동화의 과제를 해결하기 위해.
• 딥 뉴럴 네트워크를 사용하여 모델 선택과 파라미터 추정을 기계 학습 분류 및 회귀 문제로 재구성하기 위해.
• 정확하고 자동화된 통계 분석을 위한 합성적으로 생성된 데이터로 훈련된 신경망 기반 모델 선택기와 파라미터 추정기를 개발하고 검증하기 위해.
• 복잡한 회귀 모델을 포함한 실제 대규모 데이터에서 제안된 프레임워크의 확장성과 강건성을 입증하기 위해.
• 향후 인공지능 기반의 통계 분석 전 과정 자동화를 위한 기반을 마련하기 위해.

제안 방법

• 후보 모델의 레이블된 데이터를 사용하여 데이터 샘플을 생성하는 통계 모델로 분류하는 '신경망 기반 모델 선택기'로 합성곱 신경망(CNN)을 구축한다.
• 각 샘플이 진짜 기반 모델(예: 선형, 로지스틱, 포isson 회귀)으로 레이블링된 대규모 합성 데이터셋으로 신경망 기반 모델 선택기를 훈련한다.
• 기존의 추정 방법(예: 최대우도추정법 또는 최소제곱법)을 거치지 않고 데이터에서 직접 모델 파라미터를 예측하는 두 번째 CNN인 '신경망 기반 파라미터 추정기'를 설계한다.
• 일관된 시뮬레이션을 통해 다양한 표본 크기와 모델 구성에서 훈련, 검증, 테스트 데이터를 생성하여 일반화 능력을 확보한다.
• Caffe와 같은 딥 러닝 프레임워크를 사용하여 CNN을 훈련하고, 상위 1개 및 상위 2개 정확도, KS 거리, BIC 등의 지표를 사용해 성능을 평가한다.
• 고차원 데이터셋(예: Communities and Crime 데이터셋)의 부분 샘플에 대해 훈련된 선택기를 적용하여 다변량 모델과 실제 데이터를 다룰 수 있도록 프레임워크를 확장한다.

실험 결과

연구 질문

• RQ1 사람의 간섭 없이 깊이 있는 신경망이 데이터 샘플에서 정확한 통계 모델을 식별하는 데 효과적으로 훈련될 수 있는가?
• RQ2 모델 구조가 알려지지 않은 상황에서 기존의 통계 방법과 비교해 깊이 있는 신경망이 모델 파라미터를 얼마나 정확하게 추정할 수 있는가?
• RQ3 제안된 프레임워크는 고차원성과 복잡한 의존성을 지닌 실제 대규모 데이터에 일반화될 수 있는가?
• RQ4 표본 크기와 모델 복잡도에 따라 신경망 기반 모델 선택기와 추정기의 성능은 어떻게 변하는가?
• RQ5 신경망 기반 모델 선택과 파라미터 추정의 통합이 통계 분석 전 과정의 완전 자동화를 가능하게 할 수 있는가?

주요 결과

• K=20개 모델, N=100일 때 신경망 기반 모델 선택기는 상위 1개 정확도 92.1%, 상위 2개 정확도 99.2%를 달성하여 BIC 및 베이즈 요인과 같은 전통적 방법보다 유의미하게 향상된 성능을 보였다.
• N=900일 때 신경망 기반 선택기는 상위 1개 정확도 97.9%, 상위 2개 정확도 99.7%에 도달하여 시뮬레이션 연구에서 모든 벤치마크 방법을 능가했다.
• 다중 예측 변수를 가진 회귀 모델의 경우, N=100일 때 87.86%의 정확도, N=400일 때 97.86%의 정확도를 기록하여 강력한 일반화 능력을 입증했다.
• Communities and Crime 데이터셋에 대한 실제 데이터 응용에서, 훈련된 신경망 기반 모델 선택기는 90개 예측 변수를 그들의 가장 가능성이 높은 통계 모델로 성공적으로 분류했다.
• 신경망 기반 파라미터 추정기는 정확한 파라미터 추정치를 생성했으며, 실제 데이터 예제에서 추정된 밀도가 경험 분포와 매우 유사하게 일치했다.
• 이 프레임워크는 통계 분석의 종단 간 자동화 잠재력을 강력히 보여주며, 향후 대규모 데이터 분석의 패러다임 전환을 이끌 인공지능 기반 접근법의 기반이 될 것으로 기대된다.