[논문 리뷰] Scalable Variational Inference in Log-supermodular Models

Josip Djolonga, Andreas Krause|arXiv (Cornell University)|2015. 02. 23.

Adversarial Robustness in Machine Learning참고 문헌 30인용 수 11

한 줄 요약

이 논문은 하위모듈러 최적화에서 최소 노름 점 문제로 재구성된 L-Field 방법을 통해 로그-슈퍼모듈러 모델에 대한 확장 가능한 변분 추론 기법을 제안한다. 이는 효율적이고 전역 최적의 추론을 가능하게 하며, 병렬 메시지 전달에서 선형 수렴을 달성하고, 특히 영상 분할에서 고차원 잠재변수를 가진 경우 벨리프 전파와 평균장보다 높은 정확도를 보인다.

ABSTRACT

We consider the problem of approximate Bayesian inference in log-supermodular models. These models encompass regular pairwise MRFs with binary variables, but allow to capture high-order interactions, which are intractable for existing approximate inference techniques such as belief propagation, mean field, and variants. We show that a recently proposed variational approach to inference in log-supermodular models -L-FIELD- reduces to the widely-studied minimum norm problem for submodular minimization. This insight allows to leverage powerful existing tools, and hence to solve the variational problem orders of magnitude more efficiently than previously possible. We then provide another natural interpretation of L-FIELD, demonstrating that it exactly minimizes a specific type of Rényi divergence measure. This insight sheds light on the nature of the variational approximations produced by L-FIELD. Furthermore, we show how to perform parallel inference as message passing in a suitable factor graph at a linear convergence rate, without having to sum up over all the configurations of the factor. Finally, we apply our approach to a challenging image segmentation task. Our experiments confirm scalability of our approach, high quality of the marginals, and the benefit of incorporating higher-order potentials.

연구 동기 및 목표

• 고차원 상호작용을 포함한 로그-슈퍼모듈러 모델에서의 확장 가능한 근사 베이지안 추론 문제에 대응한다.
• 비볼록 목적함수와 지수적 복잡도로 인해 성능이 떨어지는 기존 방법들인 벨리프 전파와 평균장의 한계를 극복한다.
• 컴퓨터 비전에서 수십만 개의 변수를 가진 대규모 모델에서도 실용적인 추론을 가능하게 한다.
• 하위모듈러 최적화와 정보 발산 간의 연결을 통해 L-Field 근사의 본질에 대한 이론적 통찰을 제공한다.
• 경계 부근에서의 영상 경계 근처에서의 정확도 향상에 기여하는 고차원 잠재변수의 효과를 입증한다.

제안 방법

• L-Field 변분 추론 문제를 하위모듈러 함수 최소화에서의 최소 노름 점 문제로 재구성하여, 효율적이고 다항식 시간 내에 해결 가능한 알고리즘의 적용을 가능하게 한다.
• 최소 노름 점 문제를 해결하기 위한 기존 솔버를 활용하여 이전 L-Field 구현 대비 수개의 순서 수준 빠른 성능 향상을 달성한다.
• L-Field가 특정 레니 지수 발산을 최소화함을 증명하여, 변분 근사의 품질에 대한 이론적 근거를 제공한다.
• 분해 가능 로그-슈퍼모듈러 모델의 구조를 활용하여 선형 수렴을 보장하는 병렬 메시지 전달 알고리즘을 설계한다.
• 요소의 모든 구성에 대한 합산 없이도 메시지 전달 알고리즘을 구현하여 효율적인 계산을 가능하게 한다.
• 요소 그래프 표현을 사용하여 수렴 보장이 있는 분산 및 확장 가능한 추론을 가능하게 한다.

실험 결과

연구 질문

• RQ1 L-Field 변분 추론 방법은 잘 알려진 최적화 문제로 재구성되어 확장성 향상을 이룰 수 있는가?
• RQ2 정보 발산 측면에서 L-Field 근사는 어떤 이론적 해석을 가질 수 있는가?
• RQ3 실제 로그-슈퍼모듈러 모델의 구조는 강력한 수렴 보장이 있는 효율적 병렬 추론을 가능하게 하는가?
• RQ4 쌍차 모델 대비 고차원 잠재변수를 포함할 경우 영상 분할에서의 경계 근처에서의 경계 정확도는 어떻게 향상되는가?
• RQ5 제안된 방법은 전통적인 기법인 벨리프 전파와 평균장보다 경계 근처 정확도 및 확장성 측면에서 뛰어나게 성능을 발휘할 수 있는가?

주요 결과

• L-Field 방법은 최소 노름 점 문제를 해결하는 것과 동치이며, 최적화된 하위모듈러 최소화 알고리즘의 적용을 가능하게 하여 극적인 성능 향상을 달성한다.
• L-Field 근사는 특정 레니 지수 발산을 최소화하며, 이는 L-Field 근사가 보수적인 성향(거짓 양성보다 거짓 음성에 더 기울인다)을 가지는 이유를 설명한다.
• 최소 노름 점의 구조를 기반으로 한 병렬 메시지 전달 알고리즘은 전역 최적해로 선형 수렴하며, 수렴 속도는 요소 그래프의 구조에 따라 달라진다.
• 영상 분할 작업에서 제안된 방법은 경계 영역에서 벨리프 전파, 평균장 및 기타 변종보다 더 높은 AUC 점수를 기록한다.
• 고차원 잠재변수를 포함한 모델은 쌍차 모델 대비 더 정확한 경계 근처의 경계 추정치를 제공하며, 제안된 방법은 유일하게 이러한 모델을 효율적으로 처리할 수 있다.
• 이 방법은 수십만 개의 변수를 가진 모델로도 확장 가능하여 실생활 컴퓨터 비전 응용 분야에서의 실용성과 타당성을 입증한다.