[논문 리뷰] Alternating Directions Dual Decomposition

André F. T. Martins, Mário A. T. Figueiredo외 3명|arXiv (Cornell University)|2012. 12. 28.

Machine Learning and Algorithms참고 문헌 79인용 수 9

한 줄 요약

이 논문은 이원화된 방향 이중 분해와 이차 정규화를 사용한 인자 그래프에서의 근사 최대 사후확률(MAP) 추론을 위한 새로운 알고리즘인 AD3를 소개한다. 보조 기울기 업데이트를 ADMM 기반 최적화로 대체함으로써 AD3는 O(1/ε) 수렴 속도를 달성하여 이전의 이중 분해 방법보다 훨씬 빠르며, 이진 이원 및 제1차 논리 제약 조건에 대해 정확한 해를 지원하고, 국소 MAP 오라클을 사용하는 활성 집합 방법을 통해 일반 요소를 다룰 수 있다.

ABSTRACT

We propose AD3, a new algorithm for approximate maximum a posteriori (MAP) inference on factor graphs based on the alternating directions method of multipliers. Like dual decomposition algorithms, AD3 uses worker nodes to iteratively solve local subproblems and a controller node to combine these local solutions into a global update. The key characteristic of AD3 is that each local subproblem has a quadratic regularizer, leading to a faster consensus than subgradient-based dual decomposition, both theoretically and in practice. We provide closed-form solutions for these AD3 subproblems for binary pairwise factors and factors imposing first-order logic constraints. For arbitrary factors (large or combinatorial), we introduce an active set method which requires only an oracle for computing a local MAP configuration, making AD3 applicable to a wide range of problems. Experiments on synthetic and realworld problems show that AD3 compares favorably with the state-of-the-art.

연구 동기 및 목표

• 대규모 MAP 추론 문제에서 보조 기울기 기반 이중 분해 방법의 느린 수렴 문제를 해결하기 위해.
• 이중 분해의 구조를 유지하면서 수렴 속도를 향상시킨 스케일러블하고 모듈러한 근사 MAP 추론 알고리즘 개발을 위해.
• 조합적 또는 큰 요소를 가진 복잡한 모델에 대해 국소 MAP 오라클만을 사용하여 효율적인 추론을 가능하게 하기 위해.
• 분기 및 한계 절차를 통해 빠른 근사 추론과 정확한 MAP 복구를 모두 지원하는 프레임워크 제공을 위해.

제안 방법

• AD3는 선형계획형 MAP 근사의 이중 문제를 해결하기 위해 교대 방향 승수 방법(ADMM)을 사용하며, 보조 기울기 업데이트를 이차 정규화로 대체하여 더 빠른 공조를 달성한다.
• AD3의 각 국소 하위문제는 이차 계획 문제로 설정되어 있어, 이진 이원 요소와 제1차 논리 제약 조건에 대해 닫힌 형태의 해를 가능하게 한다.
• 닫힌 형태의 해가 없는 일반 요소의 경우, 국소 MAP 오라클만을 사용하여 유격 제약 조건을 반복적으로 식별하는 활성 집합 방법을 도입한다.
• 하위문제를 워커 노드에 분배하고, 정규화를 위한 전역 해를 브로드캐스트하는 제어기와의 협업을 통해 알고리즘은 모듈성을 유지한다.
• AD3는 분기 및 한계 절차를 통해 알고리즘을 감싸 정확한 MAP 추론을 지원하며, 이는 이중 분해 구조를 활용한다.
• 이 방법은 증강 라그랑주 최적화에 기반하여 O(1/ε) 수렴 속도를 보장하며, 보조 기울기 기반 방법의 O(1/ε²) 수렴 속도보다 뛰어나다.

실험 결과

연구 질문

• RQ1 ADMM 기반 이중 분해가 보조 기울기 기반 이중 분해보다 MAP 추론에서 더 빠른 수렴을 달성할 수 있는가?
• RQ2 이슬링 모델 및 제1차 논리 제약 조건과 같은 일반적인 요소 유형에서 AD3 하위문제에 대해 닫힌 형태의 해를 유도할 수 있는가?
• RQ3 국소 MAP 오라클만을 요구하는 일반 요소를 위한 활성 집합 방법을 설계할 수 있는가? 이는 광범위한 적용 가능성을 보장한다.
• RQ4 AD3는 분기 및 한계 절차와의 통합을 통해 정확한 MAP 추론을 지원하는가?

주요 결과

• AD3는 O(1/ε) 수렴 속도를 달성하여 보조 기울기 기반 이중 분해의 O(1/ε²) 수렴 속도보다 훨씬 빠르다.
• 이진 이원 및 제1차 논리 제약 조건의 경우, AD3 하위문제는 메시지 전달 또는 국소 MAP 추론과 유사한 계산 비용으로 닫힌 형태의 해를 제공한다.
• 활성 집합 방법 덕분에 AD3는 블랙박스 국소 MAP 오라클만을 사용하여 큰 또는 조합적 요소를 다룰 수 있으며, 모듈성과 확장성을 유지한다.
• AD3는 시뮬레이션 및 실제 문제에서 최신 기술보다 뛰어난 성능을 보이며, 더 빠른 수렴과 향상된 해 품질을 입증한다.
• AD3는 이중 분해 프레임워크를 활용하여 분기 및 한계 절차를 통해 정확한 MAP 추론으로 확장할 수 있다.