[논문 리뷰] Systematic vs. Non-systematic Algorithms for Solving the MPE Task

Radu Marinescu, Kalev Kask외 1명|arXiv (Cornell University)|2012. 10. 19.

Bayesian Modeling and Causal Inference참고 문헌 15인용 수 19

한 줄 요약

이 논문은 베이지안 네트워크에서 가장 가능성 있는 설명(MPE) 작업을 해결하기 위해 체계적인 Branch and Bound 알고리즘(BBBT 및 BBMB)과 비체계적인 국소 탐색 방법을 비교한다. 도메인 크기가 2를 초월할수록 BBBT/BBMB가 최신의 스토케스틱 국소 탐색(SLS) 알고리즘보다 뚜렷이 뛰어나며, 이는 지금까지 가장 효과적인 MPE 솔버로 입증된다.

ABSTRACT

The paper continues the study of partitioning based inference of heuristics for search in the context of solving the Most Probable Explanation task in Bayesian Networks. We compare two systematic Branch and Bound search algorithms, BBBT (for which the heuristic information is constructed during search and allows dynamic variable/value ordering) and its predecessor BBMB (for which the heuristic information is pre-compiled), against a number of popular local search algorithms for the MPE problem. We show empirically that, when viewed as approximation schemes, BBBT/BBMB are superior to all of these best known SLS algorithms, especially when the domain sizes increase beyond 2. This is in contrast with the performance of SLS vs. systematic search on CSP/SAT problems, where SLS often significantly outperforms systematic algorithms. As far as we know, BBBT/BBMB are currently the best performing algorithms for solving the MPE task.

연구 동기 및 목표

• 베이지안 네트워크에서 MPE 작업을 위한 체계적인 Branch and Bound 알고리즘(BBBT 및 BBMB)과 비체계적인 국소 탐색 방법의 성능을 평가하기 위해.
• 체계적 탐색이 CSP/SAT 문제에서 관찰된 경향과는 반대로 MPE 문제에서 스토케스틱 국소 탐색(SLS)을 능가할 수 있는지 조사하기 위해.
• 탐색 중 동적 생성(예: BBBT)과 사전 컴파일된(예: BBMB) 히ュ리스틱의 영향을 MPE 해의 품질과 효율성에 대해 평가하기 위해.
• 도메인 크기가 증가함에 따라 체계적 대비 비체계적 접근의 확장성과 내구성에 대해 평가하기 위해.

제안 방법

• 이 연구는 두 가지 체계적인 Branch and Bound 알고리즘을 사용한다: BBBT는 탐색 중에 히ュ리스틱 정보를 동적으로 구축하여 변수/값 순서를 결정하고, BBMB는 사전 컴파일된 히ュ리스틱을 사용한다.
• 탐색 공간을 효율적으로 잘라내기 위해 히ュ리스틱 추정치를 생성하기 위해 분할 기반 추론을 사용한다.
• 비교를 위해 다양한 인기 있는 스토케스틱 국소 탐색(SLS) 알고리즘을 기준으로 사용한다.
• 다양한 베이지안 네트워크 구조에서 도메인 크기가 증가하는 조건에서 실증 평가를 수행한다.
• 해의 품질과 계산 효율성으로 성능을 측정하며, 특히 도메인 기수(카디널리티)가 2를 초월할 경우에 중점을 둔다.

실험 결과

연구 질문

• RQ1 체계적인 Branch and Bound 탐색이 베이지안 네트워크에서 MPE 작업을 해결하는 데 있어 스토케스틱 국소 탐색(SLS) 알고리즘을 능가하는가?
• RQ2 BBBT에서처럼 탐색 중 동적 히ュ리스틱 생성과 BBMB에서처럼 사전 컴파일된 히ュ리스틱 간의 MPE 해의 품질과 탐색 효율성에서의 비교는 어떠한가?
• RQ3 도메인 크기가 증가함에 따라 체계적 알고리즘의 성능 우위가 SLS 방법 대비 더욱 두드러지는가?
• RQ4 BBBT와 BBMB는 특히 큰 도메인 상황에서 모든 알려진 SLS 알고리즘보다 우수한가?

주요 결과

• BBBT와 BBMB는 도메인 크기가 2를 초월할 경우, 테스트된 모든 스토케스틱 국소 탐색(SLS) 알고리즘보다 일관되게 뛰어나다.
• 도메인 기수(카디널리티)가 증가함에 따라 체계적 방법과 비체계적 방법 간의 성능 격차가 커지며, 이는 이 맥락에서 체계적 접근의 더 뛰어난 확장성을 시사한다.
• 탐색 중에 히ュ리스틱을 동적으로 구축하는 BBBT는 사전 컴파일된 히ュ리스틱에 의존하는 BBMB보다 더 높은 해의 품질을 달성한다.
• 저자들이 알고 있는 바에 따르면, BBBT와 BBMB는 지금까지 MPE 작업을 해결하는 데 가장 뛰어난 성능을 보이는 알고리즘이다.