[논문 리뷰] Tensor Variable Elimination for Plated Factor Graphs

Fritz Obermeyer, Eli Bingham외 5명|arXiv (Cornell University)|2019. 02. 08.

Tensor decomposition and applications인용 수 7

한 줄 요약

이 논문은 플레이트(plate)를 통해 반복 구조를 명시적으로 인코딩하는 플레이팅드 팩터 그래프(Plated Factor Graphs)를 소개하며, 이 구조를 활용해 효율적인 정확한 추론을 수행하는 텐서 변수 제거 알고리즘을 제안한다. 이 방법은 플레이트 크기에 기반한 복잡도 상한을 유도함으로써, 동일한 분포를 가진 변수가 매우 많은 모델에서도 추론을 효율적으로 수행할 수 있도록 하며, 이는 파이로(Pyro) 확률적 프로그래밍 언어에 통합되어 이산 잠재변수 모델에서 확장 가능한 정확한 추론을 가능하게 한다.

ABSTRACT

A wide class of machine learning algorithms can be reduced to variable elimination on factor graphs. While factor graphs provide a unifying notation for these algorithms, they do not provide a compact way to express repeated structure when compared to plate diagrams for directed graphical models. To exploit efficient tensor algebra in graphs with plates of variables, we generalize undirected factor graphs to plated factor graphs and variable elimination to a tensor variable elimination algorithm that operates directly on plated factor graphs. Moreover, we generalize complexity bounds based on treewidth and characterize the class of plated factor graphs for which inference is tractable. As an application, we integrate tensor variable elimination into the Pyro probabilistic programming language to enable exact inference in discrete latent variable models with repeated structure. We validate our methods with experiments on both directed and undirected graphical models, including applications to polyphonic music modeling, animal movement modeling, and latent sentiment analysis.

연구 동기 및 목표

• 표준 팩터 그래프에서 반복 구조를 위한 압축된 표현이 부족하여 변수 제거 최적화가 제한되는 문제를 해결하기 위해.
• 텐서 대수를 사용하여 플레이팅드 팩터 그래프에서 직접 작동하는 변수 제거를 일반화하여 효율적인 계산을 가능하게 하기 위해.
• 플레이트 크기에 따라 달라지는 복잡도 상한을 도출하여, 추론이 여전히 처리 가능성이 있는 조건을 규명하기 위해.
• 파이로 확률적 프로그래밍 언어에 통합하여, 동일한 분포를 가진 변수가 많은 이산 잠재변수 모델에서 효율적이고 정확한 추론을 가능하게 하기 위해.

제안 방법

• 플레이트 애너테이션을 포함하여 독립적이고 반복적인 구조를 나타내는 무방향 팩터 그래프의 확장으로서 플레이팅드 팩터 그래프를 정의한다.
• 텐서 변수 제거를 도입하며, 이는 팩터 그래프에서의 합-곱 변수 제거를 일반화한 것으로, 텐서 수축을 사용하여 플레이팅드 팩터 그래프에서 작동한다.
• 예를 들어 einsum 스타일 연산과 같은 텐서 수축 원천을 활용하여 플레이트 전역에서 메시지 전달 및 변수 제거를 병렬로 효율적으로 수행한다.
• 변수 제거 이후에 플레이트 차원을 압축하기 위해 곱-감소 연산을 사용하여 정확성을 유지하면서 효율적인 계산을 가능하게 한다.
• 플레이트의 독립성을 존중하는 스케줄링 알고리즘을 개발하여 변수 제거 단계의 병렬 실행을 가능하게 한다.
• 사용자가 플레이팅드 모델을 표현하고 수동 최적화 없이도 텐서 기반 제거를 통해 정확한 추론을 수행할 수 있도록, `pyro.plate` 컨텍스트 매니저를 통해 알고리즘을 파이로에 통합한다.

실험 결과

연구 질문

• RQ1 플레이트를 사용하여 반복적인 구조를 명시적으로 표현할 수 있는 팩터 그래프를 일반화할 수 있는가? 이는 더 효율적인 추론을 가능하게 하는가?
• RQ2 텐서 대수는 플레이팅드 팩터 그래프에서 직접 변수 제거를 수행하는 데 어떻게 사용될 수 있으며, 효율성과 정확성을 유지하는가?
• RQ3 플레이팅드 팩터 그래프에서 추론의 복잡도 상한은 무엇이며, 플레이트 크기에 따라 어떻게 달라지는가?
• RQ4 구조적 특성에 기반하여 플레이팅드 팩터 그래프에서 처리 가능하고 처리 불가능한 추론의 경계를 규명할 수 있는가?
• RQ5 이 프레임워크는 확률적 프로그래밍 언어에 어떻게 통합되어, 대규모 i.i.d. 구조를 가진 모델에서 정확한 추론을 가능하게 할 수 있는가?

주요 결과

• 제안된 텐서 변수 제거 알고리즘은 플레이트 독립성을 효율적인 텐서 수축을 통해 활용함으로써 반복적인 구조를 가진 이산 잠재변수 모델에서 정확한 추론을 가능하게 한다.
• 특히 큰 플레이트 크기를 가진 모델에서, 비틀어진 팩터 그래프에 표준 변수 제거를 난이도 있게 적용하는 것보다 상당한 계산적 절감을 달성한다.
• 플레이트 크기에 기반한 복잡도 상한이 도출되었으며, 플레이트 간 고차원 상호작용을 피할 경우 추론이 여전히 처리 가능함을 보여준다.
• 파이로에의 통합을 통해 사용자는 `pyro.plate` 구조를 사용해 모델을 작성하고, 수동 최적화 없이도 텐서 기반 변수 제거를 통해 정확한 추론을 수행할 수 있다.
• 다양한 음악 모델링, 동물 이동 패턴, 감성 분석 등의 실험을 통해, 이 방법이 구조적이고 반복적인 데이터를 가진 실제 문제에 대해 효과적이고 확장 가능함을 입증하였다.
• 이 프레임워크는 조건부 랜덤 필드와 베이지안 네트워크를 포함한 유도 및 무방향 그래픽 모델 모두를 지원하며, 플레이팅드 팩터 그래프로 표현된 경우에 적용 가능하다.