[논문 리뷰] Accelerating Inference: towards a full Language, Compiler and Hardware stack

Shawn Hershey, Jeffrey G. Bernstein외 5명|arXiv (Cornell University)|2012. 12. 12.

Bayesian Modeling and Causal Inference참고 문헌 2인용 수 14

한 줄 요약

이 논문은 확률적 모델링을 위한 오픈소스 API인 Dimple를 제안하며, 사용자가 인수 그래프로 그래픽 모델을 정의하고 자동으로 추론 엔진을 유도할 수 있도록 한다. 또한 GP5라는 전용 하드웨어 가속기용 컴파일러로도 기능하며, 희소 텐서 연산과 메시지 전달 워크로드 최적화를 통해 이진 이미지 노이즈 제거 작업에서 CPU 추론 대비 최대 3,200배의 성능 향상을 달성한다.

ABSTRACT

We introduce Dimple, a fully open-source API for probabilistic modeling. Dimple allows the user to specify probabilistic models in the form of graphical models, Bayesian networks, or factor graphs, and performs inference (by automatically deriving an inference engine from a variety of algorithms) on the model. Dimple also serves as a compiler for GP5, a hardware accelerator for inference.

연구 동기 및 목표

• 고수준의 확률적 모델링과 효율적이고 하드웨어 최적화된 추론을 통합하기 위해 소프트웨어-하드웨어 전반적인 파이프라인을 제공한다.
• 모델 사양에서 추론 알고리즘을 추상화하여 복잡한 베이지안 모델의 프로토타이핑 시간을 단축시킨다.
• 모듈러하고 확장 가능한 아키텍처를 통해 사용자 정의 추론 알고리즘과 하드웨어 가속을 원활하게 통합할 수 있도록 한다.
• 희소성과 높은 복잡도를 지닌 인수 테이블에 최적화된 전용 암시적 회로장치(GP5)를 사용하여 이산 인수 그래프의 추론을 가속화한다.
• Dimple 모델을 효율적인 GP5 기계어 지시어로 매핑하는 컴파일러 스택을 제공하여 지연 시간을 최소화하고 처리량을 극대화한다.

제안 방법

• Dimple는 모델 정의와 추론 엔진 선택을 분리하는 모듈러한 API를 사용하여 인수 그래프로 모델을 정의한다.
• 합-곱, 최소-합, 기브스 샘플링, 입자 신뢰 전파 등 다양한 추론 알고리즘을 지원하며, 새로운 솔버에 대한 확장성도 제공한다.
• GP5 하드웨어 가속기는 가중치가 부여된 희소 텐서 내적과 고차수 인수 테이블에 최적화되어 있으며, 256KB의 인수 캐시와 18Gb/s의 I/O 대역폭을 갖춘다.
• 특화된 컴파일러가 Dimple 모델을 GP5 기계어 지시어로 변환하며, 이질적인 처리 단위 간의 복잡한 메모리 할당과 타이밍 제약 조건을 처리한다.
• 유한체 변수와 하드 제약 조건(예: 패리티 체크)을 다른 확률적 언어들(예: Church)보다 자연스럽게 지원한다.
• 아키텍처는 혼합 솔버 전략과 사용자 정의 메시지 전달 스케줄링을 가능하게 하여 알고리즘 유연성을 향상시킨다.

실험 결과

연구 질문

• RQ1 다양한 그래픽 모델에 걸쳐 확률적 추론을 가속화하기 위해 통합된 소프트웨어-하드웨어 스택을 어떻게 설계할 수 있는가?
• RQ2 Dimple와 같은 고수준 모델링 API는 알고리즘 표현력을 훼손하지 않고도 전용 하드웨어에 효율적으로 컴파일할 수 있는가?
• RQ3 인수 그래프 추론을 위한 도메인 특화 컴파일러와 가속기를 공동 설계함으로써 달성 가능한 성능 향상 수준은 어느 정도인가?
• RQ4 GP5 가속기 아키텍처는 실제 추론 워크로드에서 일반 목적 CPU에 비해 어떻게 뛰어난 성능 향상을 이룰 수 있는가?
• RQ5 특화된 추론 칩에서 고수준 모델을 저수준 하드웨어 지시어로 매핑할 때 발생하는 주요 병목 현상은 무엇인가?

주요 결과

• GP5 가속기는 희소 텐서 연산 최적화와 병렬 처리 덕분에 이진 이미지 노이즈 제거 벤치마크에서 인텔 i7 CPU 대비 추정상 최대 3,200배의 성능 향상을 달성한다.
• 스테레오 비전 벤치마크에서는 GP5가 100배의 성능 향상을 기록했지만, 저차수 인수 그래프에서는 성능 향상가 한계가 있다.
• Dimple API는 사용자가 추론 알고리즘 선택과 무관하게 모델을 정의할 수 있도록 하여 새로운 솔버의 플러그 앤 플레이 통합을 가능하게 한다.
• GP5 시뮬레이터가 정확한 성능 추정을 제공하며, 지시어 수준의 프로파일링을 통해 계산 병목 현상을 식별하고 완화할 수 있다.
• 컴파일러 스택은 복잡한 Dimple 모델을 GP5 지시어로 성공적으로 매핑했으며, 이질적인 처리 단위 간의 변수 할당과 타이밍 변동성을 처리했다.
• Dimple는 고유한 기능으로서 유한체 변수, 하드 제약 조건, k-best 근사치 지원을 제공하여 특정 사용 사례에서 Infer.NET 및 Church와 같은 시스템에 비해 우월한 성능을 발휘한다.