[논문 리뷰] Autoconj: Recognizing and Exploiting Conjugacy Without a Domain-Specific Language

Matthew D. Hoffman, Matthew Johnson외 1명|arXiv (Cornell University)|2018. 11. 29.

Machine Learning and Algorithms인용 수 5

한 줄 요약

Autoconj는 로그-공동 밀도를 계산하는 파이썬 함수를 직접 운영함으로써 확률적 모델 내 공액성의 인식과 활용을 자동화하여, 도메인 전용 언어가 필요 없이 완전한 조건부 분포와 주변 분포를 효율적으로 유도할 수 있게 한다. 이는 파이썬 기반 확률적 프로그래밍 언어에서 모든 구조를 고려한 추론 알고리즘의 속도를 높이며, 텐서플로우 통합을 통해 GPU에서 최대 10배의 성능 향상을 제공한다.

ABSTRACT

Deriving conditional and marginal distributions using conjugacy relationships can be time consuming and error prone. In this paper, we propose a strategy for automating such derivations. Unlike previous systems which focus on relationships between pairs of random variables, our system (which we call Autoconj) operates directly on Python functions that compute log-joint distribution functions. Autoconj provides support for conjugacy-exploiting algorithms in any Python embedded PPL. This paves the way for accelerating development of novel inference algorithms and structure-exploiting modeling strategies.

연구 동기 및 목표

• 공액성을 이용한 완전한 조건부 분포와 주변 분포 유도를 자동화하여 수동 유도 오류와 개발 시간을 줄이는 것.
• 도메인 전용 언어 없이도 어떤 파이썬 내장 확률적 프로그래밍 언어(PPL)에서라도 공액성 활용 추론 알고리즘을 가능하게 하는 것.
• 로그-공동 함수에 대한 단순한 파이썬 API를 통해 공액 구조를 노출시켜 효율적이고 조합 가능한 추론을 지원하는 것.
• 자동 공액성 탐지 기반으로 새로운 추론 알고리즘과 구조 인식 모델링에 대한 연구를 가속화하는 것.

제안 방법

• Autoconj는 로그-공동 밀도를 계산하는 파이썬 함수를 직접 운영하며, 이를 분석을 위한 일급 객체로 취급한다.
• 특히 충분 통계량에 대한 다항식 표현으로서의 로그-공동 함수의 대수적 구조를 분석하여 공액 관계를 식별한다.
• 시스템은 로그-공동 함수의 기호적 변환을 통해 완전한 조건부 분포와 주변 분포를 유도하며, 유도된 분포를 구현하는 새로운 파이썬 함수를 반환한다.
• NumPy 및 텐서플로우를 포함한 여러 수치 계산 백엔드와의 통합을 지원하여 자동 연산 변환을 통해 GPU 가속을 가능하게 한다.
• Autoconj는 로그-공동 함수에서 자동으로 조건부 분포를 생성함으로써 블록 좌표 상승 변분 추론(CAVI)과 깁스 샘플링을 가능하게 한다.
• Autograd 및 scipy 등의 자동 미분 및 최적화 도구를 활용하여 추론 성능를 향상시킨다.

실험 결과

연구 질문

• RQ1 도메인 전용 언어 없이도 확률적 모델 내 공액 관계를 자동으로 인식하고 활용할 수 있는가?
• RQ2 일반 목적의 파이썬 내장 확률적 프로그래밍 언어에 공액 탐지 기능을 어떻게 통합할 수 있는가?
• RQ3 CAVI 및 깁스 샘플링과 같은 추론 알고리즘에서 공액성 활용을 자동화함으로써 얻을 수 있는 성능 향상은 어느 정도인가?
• RQ4 Autoconj는 GPU 및 TPU와 같은 하드웨어 가속과 얼마나 잘 스케일링되는가?

주요 결과

• Autoconj는 공액 가족 모델에서 완전한 조건부 분포와 주변 분포를 수동으로 유도하는 데 소요되는 시간과 오류율을 줄였다.
• 시스템은 로그-공동 함수에서 정확한 조건부 분포를 자동으로 생성함으로써 효율적인 블록 좌표 상승 변분 추론(CAVI)과 깁스 샘플링을 가능하게 하였다.
• 혼합 정규분포 모델에서, Autoconj는 텐서플로우를 사용해 GPU에서 500회 반복에 대해 4.3초 만에 추론을 수행했으며, CPU 전용 NumPy 대비 10배 빠른 성능 향상을 기록하였다.
• Autoconj의 성능은 하드웨어에 따라 크게 향상되었으며, 6개의 CPU 코어에서는 19.7초, 단일 GPU에서는 4.3초로, 강력한 병렬 처리 이점을 보였다.
• 시스템은 베이지안 요인 분석에서 구조를 고려한 추론을 성공적으로 지원하였으며, 정확도와 수렴 속도 면에서 평균장 ADVI보다 뛰어났다.
• Autoconj는 기존 파이썬 생태계와 원활하게 통합되었으며, 자동 미분 및 최적화 라이브러리와의 연동을 통해 새로운 추론 알고리즘의 빠른 프로토타이핑을 가능하게 하였다.