[논문 리뷰] Edward: A library for probabilistic modeling, inference, and criticism

Dustin Tran, Alp Kucukelbir외 4명|arXiv (Cornell University)|2016. 10. 31.

Machine Learning and Data Classification참고 문헌 1인용 수 221

한 줄 요약

Edward는 광범위한 확률 모델과 알고리즘에 대해 반복적 확률 모델링, 확장 가능한 추론 및 모델 비판을 가능하게 하는 TensorFlow 기반 라이브러리입니다.

ABSTRACT

Probabilistic modeling is a powerful approach for analyzing empirical information. We describe Edward, a library for probabilistic modeling. Edward's design reflects an iterative process pioneered by George Box: build a model of a phenomenon, make inferences about the model given data, and criticize the model's fit to the data. Edward supports a broad class of probabilistic models, efficient algorithms for inference, and many techniques for model criticism. The library builds on top of TensorFlow to support distributed training and hardware such as GPUs. Edward enables the development of complex probabilistic models and their algorithms at a massive scale.

연구 동기 및 목표

• 넓은 확률 모델을 정의하기 위한 유연한 랜덤 변수 언어를 제공합니다(유향 그래프, 신경망, 비모수, 확률 프로그램).
• 확장 가능한 추론 알고리즘(변분 추론, 몬테카를로, HMC, Langevin 역학)과 새로운 알고리즘을 개발하기 위한 프레임워크를 제공합니다.
• 모델 평가 도구(스코어링 규칙, 예측 검사)를 통합하여 모델을 평가하고 반복합니다.
• GPU/분산 계산 및 자동 미분을 위한 TensorFlow와의 통합.
• 표준 통계 및 ML 작업에서 엔드 투 엔드 워크플로를 시연합니다(예: 베이지안 선형 회귀, 분류).

제안 방법

• Edward는 랜덤 변수를 조합하여 모델을 구성합니다(유향 그래프 모델, 확률적 신경망, 확률 프로그램).
• 추론은 모듈식 클래스(예: 변분 추론, 몬테카를로, 정확한 추론)로 구현되며 블랙박스 및 모델 특정 방법을 지원합니다.
• 시스템은 데이터 입력 모드(선로드, 피드, 파일 읽기)를 가능하게 하며 모델 매개변수 및 조건부 추론을 지원합니다.
• 비판(criticism)은 예측 검사와 스코어링 규칙을 사용하여 모델 적합성을 평가하고 개정을 안내합니다.
• Edward는 TensorFlow에서 실행되어 GPU, 분산 훈련 및 자동 미분을 활용합니다.
• 사용자 정의 랜덤 변수 및 구성 추론을 지원하며 하이브리드 및 메시지 패싱 알고리즘을 포함합니다.

실험 결과

연구 질문

• RQ1 일관된 소프트웨어 프레임워크 내에서 확률 모델을 어떻게 표현하고, 추론하고, 비판할 수 있을까요?
• RQ2 Edward에서 다양한 모델 계열에 걸쳐 효과적인 추론 알고리즘(변분, 몬테카를로, 정확한 추론)은 무엇인가요?
• RQ3 모델과 추론의 유연한 구성이 대규모에서의 빠른 실험을 어떻게 촉진할 수 있을까요?
• RQ4 확률적 제어 흐름을 가진 확률 프로그램이 대규모 데이터에서도 효율적으로 학습되도록 하는 설계 선택은 무엇인가요?
• RQ5 모델 비판을 반복적 Box 루프에 통합하여 모델 수정을 이끌어 내는 방법은 무엇인가요?

주요 결과

• Edward는 방향 그래프, 신경망, 베이지안 비모수, 그리고 확률 프로그램을 가능하게 하는 넓은 랜덤 변수 언어를 제공합니다.
• 모듈식 추론 프레임워크는 변분, 몬테카를로, 정확한 방법을 지원하며 하이브리드 및 메시지 전달 알고리즘을 포함합니다.
• 라이브러리는 구성 가능성을 강조하여 조건부 추론과 복합 사후분포를 위한 하이브리드 추론 워크플로를 가능하게 합니다.
• Edward는 TensorFlow 위에 구현되어 GPU 가속, 분산 학습 및 자동 미분을 가능하게 합니다.
• 이 논문은 베이지안 선형 회귀 및 신경망 분류와 같은 엔드투엔드 예제를 시연하여 워크플로를 설명합니다.
• Edward는 커스텀 랜덤 변수와 확률적 제어 흐름을 지원하여 동적 계산 그래프를모델링합니다.