[논문 리뷰] ENFrame: A Platform for Processing Probabilistic Data

Sebastiaan J. van Schaik, Dan Olteanu외 1명|arXiv (Cornell University)|2013. 09. 02.

Data Management and Algorithms참고 문헌 30인용 수 4

한 줄 요약

ENFrame는 가능한 세계들 위에서 결정론적 파이썬 유사 프로그램을 확률적 계산으로 해석함으로써 불확실한 데이터의 확률적 쿼리 및 마이닝을 가능하게 하는 통합 데이터 처리 플랫폼이다. 이 플랫폼은 정확하거나 근사된 확률 분포를 계산하기 위해 관련성을 고려한 표현력 있는 이벤트 언어를 사용하며, 난이도 높은 클러스터링 작업(예: 센서 데이터에서의 k-medoids)에서 기존의 난이도 높은 또는 순차적 방법에 비해 수개의 주기적 성능 향상을 달성한다.

ABSTRACT

This paper introduces ENFrame, a unified data processing platform for querying and mining probabilistic data. Using ENFrame, users can write programs in a fragment of Python with constructs such as bounded-range loops, list comprehension, aggregate operations on lists, and calls to external database engines. The program is then interpreted probabilistically by ENFrame. The realisation of ENFrame required novel contributions along several directions. We propose an event language that is expressive enough to succinctly encode arbitrary correlations, trace the computation of user programs, and allow for computation of discrete probability distributions of program variables. We exemplify ENFrame on three clustering algorithms: k-means, k-medoids, and Markov Clustering. We introduce sequential and distributed algorithms for computing the probability of interconnected events exactly or approximately with error guarantees. Experiments with k-medoids clustering of sensor readings from energy networks show orders-of-magnitude improvements of exact clustering using ENFrame over naïve clustering in each possible world, of approximate over exact, and of distributed over sequential algorithms.

연구 동기 및 목표

• 확률적 데이터베이스와 데이터 마이닝 사이의 격차를 해소하기 위해 반복적 마이닝 파이프라인에서 상관관계가 있는 불확실한 입력 데이터를 지원한다.
• 사용자가 명시적인 확률적 주석 없이도 표준 결정론적 프로그램을 작성할 수 있도록 하되, 시스템은 자동으로 확률적 결과를 계산한다.
• 클러스터링과 같은 복잡한 데이터 마이닝 워크로드에 대해 오차 보장을 갖는 정확 및 근사 확률 계산을 지원한다.
• 모든 데이터 처리 파이프라인 전반에 가능한 세계 의미론을 통합하는 통합 프레임워크를 제공한다.
• 기존의 접근 방식이 입력 데이터가 불확실할 경우에도 독립적인 입력을 가정하거나 결정론적 출력을 생성하는 등의 제약을 극복한다.

제안 방법

• ENFrame는 반복문, 리스트 내장, 데이터베이스 호출을 포함한 파이썬 유사 언어로 작성된 사용자 프로그램을 가능한 세계들 위에서의 확률적 계산으로 해석한다.
• 이 시스템은 증명 가능성 반군을 확장하여 부정, 집계, 반복문, 정의를 지원하는 이벤트 언어를 도입함으로써 프로그램 상태와 상관관계를 세밀하게 추적한다.
• 이벤트 증명 가능성은 Φ ⊗ v의 텐서 곱 구조로 표현되며, 여기서 Φ는 논리 조건을, v는 값을 나타내어 확률 계산을 가능하게 한다.
• 형식적인 오차 보장을 갖는 순차적 및 분산 알고리즘을 사용하여 상호 연결된 이벤트의 확률을 계산한다.
• 모든 가능한 세계들을 명시적으로 나열하지 않고도 가능한 세계들 간의 구조적 유사성을 활용하여 정확 및 근사 확률 계산을 지원한다.
• 외부 데이터베이스 엔진과 통합되며, 이벤트 기반 증명 가능성을 사용하여 k-medoids와 같은 반복적 데이터 마이닝 알고리즘을 통해 불확실성을 전파한다.

실험 결과

연구 질문

• RQ1 반복적 데이터 마이닝 알고리즘을 확률적 데이터에서 실행할 때 상관관계를 유지하고 결과의 정확하거나 근사된 확률 분포를 제공하는 방법은 무엇인가?
• RQ2 복잡하고 상관관계가 있는 이벤트의 확률을 간결하게 표현하고 계산하기 위해 필요한 체계는 무엇인가?
• RQ3 확률적 데이터베이스와 데이터 마이닝을 일관된 의미론으로 통합하는 데 있어 통합 플랫폼을 설계할 수 있는가?
• RQ4 불확실한 데이터 마이닝에서 모든 가능한 세계들을 명시적으로 나열하는 것보다 성능을 크게 향상시키는 방법은 무엇인가?
• RQ5 반복적 데이터 마이닝 작업에서 확률 계산을 위한 분산 알고리즘의 성능적 트레이드오프와 이점은 무엇인가?

주요 결과

• ENFrame는 가능한 세계들을 명시적으로 나열하지 않음으로써 기존의 난이도 높은 클러스터링 방법에 비해 주기적인 성능 향상을 달성한다.
• 이벤트 기반 증명 가능성과 관련성 인식 계산을 활용함으로써 k-medoids 클러스터링에서 정확한 확률 계산의 계산 비용을 감소시킨다.
• 오차 보장을 갖는 근사 확률 계산은 정확한 방법에 비해 확장성 면에서 뛰어나면서도 높은 정확도를 유지한다.
• 센서 데이터 워크로드에서 ENFrame의 분산 알고리즘은 순차적 알고리즘 대비 뚜렷한 속도 향상을 보였다.
• 플랫폼은 상호 배타적인 센서 읽기와 같은 복잡한 상관관계를 효과적으로 처리하여, 상관관계를 忽시할 경우 발생하는 잘못된 클러스터링 할당을 방지한다.
• ENFrame의 접근 방식은 기존의 k-means(expected distances)나 독립적 입력 모델을 사용하는 시스템이 지원하지 않는 신뢰성 있고 의미론적으로 호환되는 확률적 마이닝을 가능하게 한다.