[논문 리뷰] Deep Probabilistic Programming Languages: A Qualitative Study

Guillaume Baudart, Martin Hirzel외 1명|arXiv (Cornell University)|2018. 04. 17.

Machine Learning and Data Classification참고 문헌 22인용 수 8

한 줄 요약

이 논문은 딥 프로비타블 프로그래밍 언어 중 두 개의 선도적 언어인 Edward와 Pyro 간의 정성적 비교 연구를 제공하며, 확률적 모델링과 딥 러닝을 융합하는 데서의 설계, 사용성, 표현력에 대해 분석한다. 추상화 누출, 간결성, 추론 확장성의 핵심 과제를 밝혀내며, 동시에 조합 가능성, 불확실성 모델링, 계층적 표현 학습에서의 강점을 강조한다.

ABSTRACT

Deep probabilistic programming languages try to combine the advantages of deep learning with those of probabilistic programming languages. If successful, this would be a big step forward in machine learning and programming languages. Unfortunately, as of now, this new crop of languages is hard to use and understand. This paper addresses this problem directly by explaining deep probabilistic programming languages and indirectly by characterizing their current strengths and weaknesses.

연구 동기 및 목표

• 연구자와 실무자들이 딥 프로비타블 프로그래밍에 접근하는 데 있어 장벽을 낮추기 위해 Edward와 Pyro의 명확하고 코드 기반의 비교를 제공함으로써.
• 딥 PPL의 현재 강점과 약점을 언어 설계, 추상화, 사용성 측면에서 규명하고 특성화함으로써.
• 표현력, 간결성, 철저한 추상화, 소규모 데이터 학습 및 고정밀도 학습 지원의 격차를 부각시켜 향후 연구를 이끌어내기 위함이다.
• 확률적 프로그래밍, 딥 러닝, 프로그래밍 언어 원칙의 융합으로서의 딥 PPL을 설명 가능성과 불확실성 모델링에 중점을 두고 위치 지음.

제안 방법

• TensorFlow 기반의 Edward와 PyTorch 기반의 Pyro를 대표적인 딥 PPL로 활용하며, 일관된 용어를 사용해 두 언어 모두에 코드 예제를 제시함.
• 비교 기반의 튜토리얼 접근 방식을 취하여, 점점 더 복잡한 모델을 두 언어 모두에서 제시함으로써 문법, 제어 흐름, 추상화의 차이를 부각함.
• 동적 제어 구조(예: 반복문과 조건문) 지원과 같은 언어 수준 기능을 분석함. 특히 Edward의 정적 그래프 기반의 TensorFlow와 Pyro의 동적 계산 그래프 기반의 PyTorch를 대비함.
• 추상화 품질을 평가하기 위해, 딥 PPL이 저수준의 구현 세부 정보(예: 텐서 차원)를 얼마나 잘 숨기는지 분석함. 특히 오류 메시지와 텐서 차원 추적에서의 성능을 평가함.
• 변분 추론에서 사전분포와 가이드의 역할을 비교하며, 모델과 가이드 정의의 복잡성과 구조를 평가함.
• 모델과 추론 절차의 조합 가능성 평가. 특히 Edward가 모델과 추론 알고리즘 모두를 조합하는 데서의 지원을 분석함.

실험 결과

연구 질문

• RQ1 Edward와 Pyro는 확률적 모델에서 반복문과 조건문과 같은 동적 제어 구조를 어떻게 다루는가?
• RQ2 딥 PPL은 얼마나 철저한 추상화를 제공하여 저수준의 구현 세부 정보(예: 텐서 차원)가 사용자 코드로 泄漏되지 않도록 방지하는가?
• RQ3 Edward와 Pyro의 설계 선택은 확률적 모델과 가이드의 간결성과 가독성에 어떻게 영향을 미치는가?
• RQ4 이론적으로 가능하긴 하지만, 딥 PPL에서 소규모 데이터 학습과 고정밀도 학습을 지원하는 데 현재 어떤 한계가 존재하는가?
• RQ5 딥 PPL은 어떻게 확률적 모델링의 강점(불확실성, 설명 가능성)과 딥 러닝의 강점(자동 특징 학습, 확장성)을 더 잘 융합할 수 있는가?

주요 결과

• Pyro는 PyTorch의 동적 계산 그래프 기반 설계 덕분에 Python의 자연스러운 제어 구조(예: 반복문과 조건문)를 더 자연스럽게 지원함.
• Edward는 TensorFlow의 정적 계산 그래프에 의존하기 때문에 동적 제어 흐름을 통합하기 위해 특수 API 가 필요하여, 이와 같은 구조가 더 복잡하고 직관적이지 않음.
• Edward와 Pyro 모두 추상화 누출 문제를 겪고 있음: 오류 메시지에서 차원 불일치의 원인이 가려져 있고, 변수 이름이 계산 그래프에서 사라져 디버깅을 어렵게 함.
• 모델과 가이드를 작성할 때 Edward는 Pyro보다 더 간결하지만, Pyro의 함수와 클래스 사용은 모델의 구조를 명확히 하고, 효율적인 코루틴 기반 추론을 가능하게 함.
• Turing 완전성은 갖추고 있지만, Edward의 현재 구현은 동적 구조의 표현력을 제한함. 이는 현대의 동적 딥 러닝 기능과의 더 나은 통합이 필요함을 시사함.
• Pyro는 몬테카를로 추론에 대한 강력한 지원이 부족하며, 현재는 변분 추론에 집중되어 있음. 이는 향후 개선이 필요한 핵심 영역임.