[논문 리뷰] InferSpark: Statistical Inference at Scale

Zhuoyue Zhao, Jialing Pei외 3명|arXiv (Cornell University)|2017. 07. 07.

Advanced Database Systems and Queries참고 문헌 18인용 수 3

한 줄 요약

InferSpark는 Apache Spark 기반의 확률적 프로그래밍 프레임워크로, 사용자 정의 베이지안 모델을 위한 확장 가능한 통계적 추론을 가능하게 한다. 이 프레임워크는 Scala에 도메인 특화 구문을 추가하여 모델를 간결하게 정의하고, 이를 분산 추론 코드로 컴파일하며, Spark의 메모리 기반 처리 기능을 활용해 대규모 추론을 가속화한다. 이는 LDA 모델에 대해 수작업으로 구현한 경우 대비 코드 크기를 70배 감소시킨다.

ABSTRACT

The Apache Spark stack has enabled fast large-scale data processing. Despite a rich library of statistical models and inference algorithms, it does not give domain users the ability to develop their own models. The emergence of probabilistic programming languages has showed the promise of developing sophisticated probabilistic models in a succinct and programmatic way. These frameworks have the potential of automatically generating inference algorithms for the user defined models and answering various statistical queries about the model. It is a perfect time to unite these two great directions to produce a programmable big data analysis framework. We thus propose, InferSpark, a probabilistic programming framework on top of Apache Spark. Efficient statistical inference can be easily implemented on this framework and inference process can leverage the distributed main memory processing power of Spark. This framework makes statistical inference on big data possible and speed up the penetration of probabilistic programming into the data engineering domain.

연구 동기 및 목표

• Apache Spark와 같은 확장 가능한 대규모 데이터 프레임워크에서 사용자 정의 통계 모델 개발을 위한 지원 부족 문제를 해결한다.
• 기존의 확률적 프로그래밍 프레임워크(예: Infer.NET, Church, Figaro)가 대규모 데이터셋이나 분산 환경에서 확장되지 못하는 한계를 극복한다.
• 데이터 과학자와 통계학자들이 저수준 분산 추론 알고리즘을 수동으로 구현하지 않고도 복잡한 베이지안 모델을 간결하고 프로그래밍 방식으로 정의할 수 있도록 한다.
• 확률적 프로그래밍의 표현력을 Spark의 분산 컴퓨팅 능력과 융합하여 확장 가능한 통계적 추론의 접근성을 높인다.

제안 방법

• 확률적 프로그래밍 구문을 Scala에 확장하여 분포와 조건부 의존성에 특화된 도메인 특화 문법을 사용해 직관적인 모델 정의를 가능하게 한다.
• 사용자가 정의한 모델을 최적화된 Spark 호환 Scala 클래스와 객체로 컴파일하여 추론 알고리즘을 캡슐화한다.
• 고수준 모델 정의를 Spark의 RDD 및 Dataset API를 활용한 분산 추론 파이프라인으로 변환하는 컴파일러 및 런타임 시스템을 구현한다.
• LDA에 딜레르트 우선분포를 포함한 지수족 공액 모델에서 효율적인 추론을 위해 변분 메시지 전달(VMP)을 활용한다.
• 사용자가 관측된 데이터를 입력하고 모델의 사후 분포 또는 기대값을 질의할 수 있도록 깔끔한 API를 제공한다.
• 향후 확장성을 고려해 비공액 우선분포, 다른 추론 알고리즘(예: 깁스 샘플링), 플러그인 기반 추론 구현을 지원할 수 있도록 프레임워크를 설계한다.

실험 결과

연구 질문

• RQ1 확률적 프로그래밍이 Apache Spark와 같은 분산 대규모 데이터 플랫폼에 효과적으로 통합되어 확장 가능한 통계적 추론을 가능하게 할 수 있는가?
• RQ2 일반 목적의 프로그래밍 언어인 Scala에서 도메인 특화 언어 확장을 통해 모델 정의를 얼마나 단순화할 수 있는가?
• RQ3 InferSpark의 성능와 코드 복잡도는 LDA와 같은 표준 모델에 대해 MLlib와 같은 기존 라이브러리의 수작업 최적화 구현과 비교해 어떻게 되는가?
• RQ4 프레임워크는 지수족 공액 모델을 초월한 복잡한 베이지안 네트워크에 대해 효율적인 분산 추론을 지원할 수 있는가?

주요 결과

• InferSpark는 LDA 모델을 단 7줄의 Scala 코드로 정의할 수 있으며, MLlib의 경우 503줄이 필요해 구현 복잡도가 크게 감소함을 보여준다.
• Spark의 분산 메모리 계산 기능을 활용해 대규모 데이터셋에 대한 통계적 추론을 성공적으로 확장함으로써, 단일 머신 기반 확률적 프레임워크인 Infer.NET의 메모리 제약을 극복한다.
• 실험적 평가를 통해 InferSpark가 추론 시간과 메모리 사용량이 데이터 크기와 모델 복잡도에 비례하는 방식으로 효율적인 분산 추론을 수행할 수 있음을 확인했다.
• 프로토타입은 지수족 공액 모델에 대해 변분 메시지 전달(VMP)을 지원하여 빠르고 확장 가능한 사후 분포 추정을 가능하게 한다.
• 시스템은 확장성에 유리하게 설계되어 있으며, 비공액 우선분포, 마르코프 네트워크, 깁스 샘플링과 같은 대체 추론 알고리즘 지원 계획이 수립되어 있다.
• InferSpark는 데이터 과학자와 통계학자들이 저수준 분산 시스템 프로그래밍 없이도 대규모에서 사용자 정의 베이지안 모델을 구축하고 실험할 수 있도록 문을 열어준다.