[논문 리뷰] Big Data - Retour vers le Futur - 3 - De Statisticien à Data Scientist

Philippe Besse, Aurélien Garivier외 1명|arXiv (Cornell University)|2014. 03. 14.

Data Mining Algorithms and Applications참고 문헌 26인용 수 1

한 줄 요약

이 논문은 대용량 데이터의 체적, 다양성, 속도로 인해 통계학자의 역할이 전통적 통계에서 데이터 과학으로 어떻게 진화해 왔는지 추적한다. 대용량 데이터의 특성에 대응하기 위해 통계학과 수학 분야에서 나타나는 새로운 연구 과제를 규명하고, 분석 방법론의 범주 전환을 제안한다.

ABSTRACT

The rapid evolution of information systems managing more and more voluminous data has caused profound paradigm shifts in the job of statistician, becoming successively data miner, bioinforma- tician and now data scientist. Without the sake of completeness and after having illustrated these successive mutations, this article briefly introduced the new research issues that quickly rise in Statistics, and more generally in Mathematics, in order to integrate the characteris- tics : volume, variety and velocity, of big data.

연구 동기 및 목표

• evolving data management systems에 대응하여 통계학자의 역할의 역사적 전환을 검토하기 위해.
• 대용량 데이터의 특성인 체적, 다양성, 속도가 통계학과 수학 분야에 제기하는 새로운 연구 과제를 규명하기 위해.
• 현대 데이터 과학의 요구에 맞추어 통계 분석 방법론의 개념적 전환을 제안하기 위해.
• 대용량 데이터의 분석적 복잡성에 대응하기 위해 다학제적 통합의 필요성을 부각하기 위해.

제안 방법

• 데이터 마이닝, 바이오인포매틱스, 데이터 과학자 등 순차적인 역할을 통해 통계학자의 역할의 역사적 진화를 분석한다.
• 증가하는 데이터 체적과 복잡성으로 인한 데이터 처리 및 분석 방식의 범주 전환을 설명한다.
• 현대 데이터 과학에서 다양한 데이터 유형(다양성)과 실시간 처리(속도)의 통합을 검토한다.
• 기존 통계 방법론이 대용량 데이터 특성을 수용하기 위해 진화해야 한다고 제안한다.
• 확장성과 이질성 처리를 위한 새로운 수학적 및 통계적 프레임워크의 필요성을 강조한다.
• 대용량 데이터 제약 조건를 고려하여 통계적 추론과 모델링의 재고를 제안한다.

실험 결과

연구 질문

• RQ1 대용량 데이터의 부상에 대응하여 통계학자의 역할은 어떻게 진화해 왔는가?
• RQ2 대용량 데이터의 특성인 체적, 다양성, 속도가 통계학과 수학 분야에 제기하는 새로운 연구 과제는 무엇인가?
• RQ3 기존의 통계 분석 방법론은 어떻게 현대의 대용량 데이터 워크로드를 처리할 수 있도록 적응시킬 수 있는가?
• RQ4 통계학이 데이터 과학에서 관련성을 유지하기 위해 필요한 개념적 및 방법론적 전환은 무엇인가?
• RQ5 대용량 데이터의 분석적 요구를 해결하기 위해 필요한 다학제적 접근은 무엇인가?

주요 결과

• 데이터의 규모와 복잡성 증가로 인해 통계학자의 역할이 고전적 통계에서 데이터 과학으로 진화하였다.
• 대용량 데이터의 체적, 다양성, 속도는 전통적 통계를 초월한 새로운 방법론 접근이 필요하다.
• 데이터의 이질성과 실시간 처리를 다루기 위한 통계학과 수학 분야에서 새로운 연구 문제들이 나타나고 있다.
• 통계학자에서 데이터 과학자로의 전환은 데이터 분석의 광범위한 범주 전환을 반영한다.
• 대용량 데이터와 함께 확장되면서도 분석의 엄밀함을 유지할 수 있는 통계 프레임워크의 필요성이 점점 증가하고 있다.
• 본 논문은 대용량 데이터 환경에서 도메인 전문 지식을 통계적 및 계산적 방법과 융합하는 것이 중요하다고 강조한다.