[논문 리뷰] Convex Relaxations for Learning Bounded Treewidth Decomposable Graphs

Krishna Kumar, Francis Bach|arXiv (Cornell University)|2012. 12. 11.

Machine Learning and Algorithms참고 문헌 33인용 수 14

한 줄 요약

이 논문은 숲과 초림(polytopes)에 대한 조합 최적화를 통해 유계 트리너비를 가진 분해 가능한 그래픽 모델을 학습하기 위한 새로운 볼록 근사법을 제안한다. 이는 다항 시간 내에 최대우도 추정을 통한 구조 학습을 가능하게 한다. 초기화된 매트로이드 기반의 내부 루프를 갖는 슈퍼기울기 방법을 사용함으로써, 강한 상관관계 하에서 실수 및 합성 데이터셋(예: TRAFFIC, ALARM)에서 최신 기법들보다 뛰어난 로그우도 성능을 달성한다.

ABSTRACT

We consider the problem of learning the structure of undirected graphical models with bounded treewidth, within the maximum likelihood framework. This is an NP-hard problem and most approaches consider local search techniques. In this paper, we pose it as a combinatorial optimization problem, which is then relaxed to a convex optimization problem that involves searching over the forest and hyperforest polytopes with special structures, independently. A supergradient method is used to solve the dual problem, with a run-time complexity of $O(k^3 n^{k+2} \log n)$ for each iteration, where $n$ is the number of variables and $k$ is a bound on the treewidth. We compare our approach to state-of-the-art methods on synthetic datasets and classical benchmarks, showing the gains of the novel convex approach.

연구 동기 및 목표

• 최대우도 추정 하에서 유계 트리너비를 가진 무향 그래픽 모델을 학습하는 문제의 NP-난이도를 해결하기 위해.
• 기존 방법에서의 국소 탐색 및 비볼록 최적화의 한계를 극복하기 위해 문제를 볼록 근사로 재구성하기 위해.
• 이론적 보장과 향상된 경험적 성능을 갖춘 효율적인 다항 시간 내의 구조 학습을 가능하게 하기 위해.
• 변동형 추론의 적용 범위를 확장하기 위해 트리 너머의 더 높은 트리너비를 갖는 계산 가능 근사치를 허용하기 위해.

제안 방법

• 유계 트리너비의 구조 학습 문제를 분해 가능한 그래프 위의 조합 최적화 문제로 공식화한다.
• 그래프 매트로이드 및 초그래프 매트로이드 다각체를 포함하는 볼록 최적화 프레임워크로 문제를 근사한다.
• 두 매트로이드에 대해 그린 알고리즘을 내부 루프로 사용하는 슈퍼기울기 상승 방법을 통해 쌍대 문제를 해결한다.
• 이중 문제의 분수 해를 원래 문제의 유효한 정수 해로 변환하기 위해 라운딩 기법을 적용한다.
• 반복당 시간 복잡도는 $O(k^3 n^{k+2} \text{log} n)$이며, 여기서 $n$은 변수 수이고 $k$는 트리너비의 상한이다.
• 실수 및 실제 데이터베이스(TRAFFIC, ALARM)에 대해 경험적 평가를 위해 이 방법을 적용한다.

실험 결과

연구 질문

• RQ1 다항 시간 최적화를 가능하게 하는, 유계 트리너비를 가진 분해 가능한 그래픽 모델을 학습하기 위한 볼록 근사법을 구성할 수 있는가?
• RQ2 제안된 볼록 접근법은 비볼록 국소 탐색 및 히우리스틱 방법과 비교해 로그우도 및 구조 정확도 측면에서 어떻게 성능을 내는가?
• RQ3 상관관계 강도($d$)가 제안된 근사법과 라운딩 기법을 통해 학습된 그래프 구조의 품질에 어떤 영향을 미치는가?
• RQ4 언제 해가 타당한 근사가 되며, 이를 어떻게 특성화할 수 있는가?
• RQ5 기존 접근법에 비해 뛰어난 성능을 유지하면서도 실제 데이터셋에 대해 확장 가능한가?

주요 결과

• 제안된 볼록 근사법은 ALARM 및 TRAFFIC 데이터셋에서 Chow-Liu 트리와 PAC-JT 알고리즘을 포함한 최신 기법들보다 로그우도 성능에서 뛰어나며, $k=3$일 때 성능이 뛰어나다.
• 강한 상관관계($d=32$)를 가진 체인 접합 트리에서, 이 방법은 $\Delta$ Primal r 값이 57.3을 기록하며, 동일한 설정에서 그린 기반의 58.3보다 뚜렷이 뛰어나다.
• 상관관계 강도 $d=32$인 스타 접합 트리에서는 이 방법의 $\Delta$ Primal r 값이 58.3이며, 그린 기반의 58.3과 동일하여 고도의 상관관계 하에서도 거의 최적의 성능을 달성한다.
• 일반적으로 근사가 타당하지 않지만, 상관관계가 강할 경우(예: $d \geq 16$) 라운딩 기법이 최적 또는 근사 최적의 해를 회복한다.
• TRAFFIC 및 ALARM 데이터셋에서 기존 기법들보다 더 높은 로그우도를 달성하여, 근사의 품질 향상을 입증한다.
• 반복당 시간 복잡도는 $O(k^3 n^{k+2} \log n)$로, 중간 크기의 $n$과 $k$에 대해 확장 가능한 성능을 보인다.