[논문 리뷰] Solving Marginal MAP Problems with NP Oracles and Parity Constraints

Yexiang Xue, Zhiyuan Li외 3명|arXiv (Cornell University)|2016. 10. 08.

Bayesian Modeling and Causal Inference인용 수 5

한 줄 요약

이 논문은 불가능한 최소화 하위 문제를 파리티 제약 조건 하에 NP 오라클에 대한 쿼리로 인코딩하여 Marginal MAP 문제에 대한 새로운 상수 요인 근사 알고리즘인 XOR_MMAP를 제안한다. 이 방법은 최적화와 수세기의 계산을 하나의 다항식 크기의 최적화 문제에 통합하여 기계 학습 및 의사결정 응용 분야에서 최신 기술보다 더 낫거나 더 낮은 경계와 뛰어난 해의 품질을 제공한다.

ABSTRACT

Arising from many applications at the intersection of decision making and machine learning, Marginal Maximum A Posteriori (Marginal MAP) Problems unify the two main classes of inference, namely maximization (optimization) and marginal inference (counting), and are believed to have higher complexity than both of them. We propose XOR_MMAP, a novel approach to solve the Marginal MAP Problem, which represents the intractable counting subproblem with queries to NP oracles, subject to additional parity constraints. XOR_MMAP provides a constant factor approximation to the Marginal MAP Problem, by encoding it as a single optimization in polynomial size of the original problem. We evaluate our approach in several machine learning and decision making applications, and show that our approach outperforms several state-of-the-art Marginal MAP solvers.

연구 동기 및 목표

• Marginal MAP 문제의 높은 복잡도를 해결하기 위해, 이는 NP^PP-완전이며 MAP 및 최소화 추론보다 더 어렵다.
• 기존 방법보다 더 효율적으로 최적화와 비가역적 수세기의 계산을 통합하는 확장 가능한 근사 방법을 개발하기 위해.
• 최대화 및 최소화 구성 요소를 모두 포괄하는 단일 다항식 크기의 최적화 공식을 제공하기 위해.
• 계산 자원이 증가할수록 향상되는 해에 대한 날카운 경계(상한 및 하한)를 제공하기 위해.
• 딥 벨리프 네트워크, 네트워크 캐스케이드 설계, 그리고 계산 지속 가능성과 같은 다양한 응용 분야에서 방법을 평가하기 위해.

제안 방법

• XOR_MMAP는 Marginal MAP에서의 비가역적 합을 무작위로 생성된 XOR 제약 조건을 가진 일련의 최적화 문제로 재구성한다.
• 이 방법은 이러한 파리티 제약 조건 하에서 해의 타당성을 쿼리하기 위해 NP 오라클을 사용하여, 제약 조건 인스턴스에 대한 샘플링을 통해 최소화를 효과적으로 근사한다.
• 이 방법은 원래 문제에 대해 다항식 크기의 단일 통합 최적화 문제로 전체 MMAP 문제를 인코딩한다.
• 이 알고리즘은 Ermon 등이 제안한 저밀도 파리티 코드 프레임워크를 활용하여 진짜 최소화 수를 상수 요인으로 근사한다.
• 알고리즘은 XOR 제약 조건의 수를 늘리고 결과 최적화 인스턴스를 해결함으로써 점진적으로 경계를 향상시킨다.
• 이 방법은 최적화와 최소화를 별도로 처리하거나 반복적으로 처리하지 않고, 단일 최적화 호출로 구현된다.

실험 결과

연구 질문

• RQ1 파리티 제약 조건 하에 비가역적 수세기 하위 문제를 NP 오라클 쿼리로 감소시켜 Marginal MAP 문제에 대해 상수 요인 근사치를 달성할 수 있는가?
• RQ2 최적화와 최소화를 단일 통합 최적화 문제로 통합함으로써, 분리된 접근 방식에 비해 해의 품질과 계산 효율성이 어떻게 향상되는가?
• RQ3 실제 응용에서 SAA 및 혼합 루프리 벨리프 전파와 같은 최신 기술보다 XOR_MMAP가 얼마나 뛰어나게 성능을 발휘할 수 있는가?
• RQ4 XOR_MMAP는 MMAP 목표 함수에 대해 날카운, 점진적으로 향상 가능한 상한 및 하한을 제공할 수 있는가?
• RQ5 이미지 복원과 같은 복잡한 응용 분야에서, 예를 들어 딥 벨리프 네트워크 및 네트워크 캐스케이드 최적화에서 XOR_MMAP는 얼마나 효과적인가?

주요 결과

• 10×10 이징 모델에서 XOR_MMAP의 진실값과의 로그10 수치 차이 중앙값은 0.3이었고, SAA와 혼합 LBP는 약 10의 주기를 가진 차이를 보였다.
• 딥 벨리프 네트워크를 사용한 이미지 복원 작업에서 XOR_MMAP는 일관된 숫자 복원을 생성한 반면, SAA는 모든 숫자에 걸쳐 흐린 점만 생성하였다.
• 네트워크 캐스케이드 벤치마크에서, XOR_MMAP는 모든 예산 수준에서 SAA보다 목표 노드 활성화 확률이 훨씬 높은 노드 구매 전략을 선택하였다.
• 정확한 AOBB 솔버는 최대 변수 수가 20%인 경우 60%에서 메모리 제약으로 실패했지만, XOR_MMAP는 확장 가능하고 효과적으로 작동하였다.
• 이징 모델의 6개 테스트 케이스 전반에서, XOR_MMAP는 SAA 및 혼합 LBP를 모두 압도하였으며, 결합 강도가 증가할수록 성능 격차가 커졌다.
• XOR_MMAP는 다른 방법보다 더 날카운 경계를 제공하였고, 추가적인 계산 자원 투입으로 경계 향상이 가능하였다.