[논문 리뷰] Why is Compiling Lifted Inference into a Low-Level Language so Effective?

Seyed Mehran Kazemi, David Poole|arXiv (Cornell University)|2016. 06. 14.

Bayesian Modeling and Causal Inference참고 문헌 21인용 수 3

한 줄 요약

이 논문은 LRC2CPP에서 업계 기반 추론을 저수준 프로그램으로 컴파일할 때 WFOMC의 데이터 구조로 컴파일하는 것보다 수십만 배 빠른 성능 향상을 달성하는 이유를 조사한다. 이는 주로 프로그램의 효율적 컴파일과 최적화 덕분이며, 컴파일 과정 자체 때문이 아니라, 동일한 기초 논리 구조를 사용할 때도 컴파일된 프로그램 실행 방식이 인터프리터 기반 데이터 구조 실행 방식보다 훨씬 빠르다는 것을 확인한다.

ABSTRACT

First-order knowledge compilation techniques have proven efficient for lifted inference. They compile a relational probability model into a target circuit on which many inference queries can be answered efficiently. Early methods used data structures as their target circuit. In our KR-2016 paper, we showed that compiling to a low-level program instead of a data structure offers orders of magnitude speedup, resulting in the state-of-the-art lifted inference technique. In this paper, we conduct experiments to address two questions regarding our KR-2016 results: 1- does the speedup come from more efficient compilation or more efficient reasoning with the target circuit?, and 2- why are low-level programs more efficient target circuits than data structures?

연구 동기 및 목표

• LRC2CPP가 WFOMC보다 빠른 성능 향상을 보이는 이유가 더 빠른 컴파일 때문인지, 아니면 타겟 회로에서 더 빠른 추론 때문인지 파악하는 것.
• 저수준 프로그램을 사용할 경우 데이터 구조보다 추론이 더 효율적인 이유를 조사하는 것.
• 컴파일 및 최적화된 프로그램이 인터프리터 기반 데이터 구조 실행보다 더 큰 성능 향상을 가져오는가를 검증하는 것.
• 관찰된 성능 향상에서 컴파일과 최적화의 기여도를 분리하는 것.

제안 방법

• 저자들은 인구 수가 다양한 세 가지 마르코프 논리 네트워크 벤치마크에서 LRC2CPP와 WFOMC의 종합 실행 시간을 비교한다.
• 성능 향상의 근본 원인을 분리하기 위해 총 시간을 컴파일 단계와 추론 단계로 분해한다.
• LRC2CPP에서 C++ 프로그램을 생성하고, 세 가지 실행 모드(최적화 -O3로 컴파일, 최적화 없이 컴파일, Ch 7.5.3를 사용한 인터프리터 실행)로 추론 성능을 평가한다.
• 동일한 논리 모델과 쿼리를 사용하여 이 세 실행 모드를 WFOMC의 데이터 구조 기반 추론과 비교한다.
• 인터프리터 실행과 컴파일 실행 간의 속도 향상 비율, 그리고 최적화 유무에 따른 컴파일 실행 간의 속도 향상 비율을 측정한다.
• 통계 분석을 통해 컴파일과 최적화가 전체 속도 향상에 기여하는 상대적 기여도를 정량화한다.

실험 결과

연구 질문

• RQ1 LRC2CPP가 WFOMC보다 성능 우월성을 보이는 이유가 더 빠른 컴파일 때문인지, 아니면 타겟 회로에서 더 빠른 추론 때문인지?
• RQ2 왜 저수준 프로그램이 업계 기반 추론의 타겟 회로로써 데이터 구조보다 더 효율적인가?
• RQ3 속도 향상의 원인이 프로그램을 컴파일하고 최적화할 수 있는 능력 때문인지, 아니면 프로그램 표현 방식 자체의 본질적 특성 때문인지?
• RQ4 코드 최적화에 비해 프로그램 컴파일이 성능 향상에 얼마나 기여하는가?
• RQ5 인터프리터 기반 데이터 구조와 컴파일된 프로그램 간의 성능 격차를 정량적으로 분리하고 측정할 수 있는가?

주요 결과

• 컴파일 단계는 LRC2CPP와 WFOMC 모두에서 거의 동일한 시간이 소요되며, 이는 속도 향상이 더 빠른 컴파일 때문이 아니라는 것을 시사한다.
• 5000명의 인구 수에서 LRC2CPP의 프로그램을 사용한 추론은 WFOMC의 데이터 구조보다 163배 빠르다.
• LRC2CPP에서 생성된 C++ 프로그램을 인터프리터로 실행할 경우, WFOMC의 데이터 구조 기반 추론과 거의 동일한 실행 시간을 기록하며, 이는 인터프리터가 성능 저하의 주요 원인임을 확인한다.
• LRC2CPP 프로그램의 컴파일은 인터프리터 실행 대비 평균 175배 빠른 성능 향상을 가져오며, 총 속도 향상의 99.7%가 최적화가 아닌 컴파일 덕분임을 확인한다.
• 컴파일된 프로그램의 최적화는 비최적화 컴파일 대비 평균 2.3배 빠른 성능 향상을 보이며, 이는 컴파일 자체에 비해 영향이 미미함을 시사한다.
• 두 접근 방식 모두 추론의 시간 복잡도는 동일하며, 이는 성능 차이가 점근적 복잡도가 아닌 상수 요인 때문임을 시사한다.