[논문 리뷰] Optimization of Structured Mean Field Objectives

Alexandre Bouchard‐Côté, Michael I. Jordan|arXiv (Cornell University)|2012. 05. 09.

Advanced Multi-Objective Optimization Algorithms참고 문헌 15인용 수 10

한 줄 요약

이 논문은 비가역적인 무향 그래픽 모델에서 구조적 평균장 추론을 위한 새로운 최적화 프레임워크를 제안한다. 이는 효율적인 블록 좌표 상승을 위해 v-acyclic 서브그래프를 활용한다. 서브그래프가 v-acyclic일 경우 빠른 알고리즘이 사용되며, 그렇지 않은 경우 추론을 가능하게 하기 위해 보조 지수가중족을 구성한다. 이로 인해 기준 방법 대비 유의미하게 확장성과 정확도가 향상된다.

ABSTRACT

In intractable, undirected graphical models, an intuitive way of creating structured mean field approximations is to select an acyclic tractable subgraph. We show that the hardness of computing the objective function and gradient of the mean field objective qualitatively depends on a simple graph property. If the tractable subgraph has this property- we call such subgraphs v-acyclic-a very fast block coordinate ascent algorithm is possible. If not, optimization is harder, but we show a new algorithm based on the construction of an auxiliary exponential family that can be used to make inference possible in this case as well. We discuss the advantages and disadvantages of each regime and compare the algorithms empirically.

연구 동기 및 목표

• 비가역적인 무향 그래픽 모델에서 구조적 평균장 목표를 최적화하는 데 있어 계산적 과제를 해결하기 위해.
• 특히 타당한 서브그래프의 구조적 성질인 v-acyclicity에 초점을 맞춰 효율적인 최적화가 가능한 조건을 규명하기 위해.
• 비-v-acyclic 케이스를 위한 확장 가능한 최적화 알고리즘을 개발하기 위해, 보조 지수가중족 구성 기법을 활용한다.
• 구조적 평균장 근사에서 v-acyclic 및 비-v-acyclic 영역 간의 성능과 상호 교환 조건을 경험적으로 비교하기 위해.
• 복잡한 확률 모델에서 구조적 평균장 추론의 확장성과 정확도를 향상시키기 위해.

제안 방법

• 이 방법은 구조적 평균장 근사 기반으로 타당하고 비순환적인 서브그래프를 선택한다.
• 블록 좌표 상승을 통해 목표 함수와 기울기를 효율적으로 계산할 수 있도록 v-acyclic 서브그래프 개념을 도입한다.
• 비-v-acyclic 서브그래프의 경우, 추론과 최적화를 가능하게 하기 위해 보조 지수가중족을 구성한다.
• 최적화는 평균장 목표 함수에 대해 좌표 상승을 통해 진행되며, 보조 가중족의 충분통계량에서 유도된 업데이트를 사용한다.
• 알고리즘은 서브그래프의 구조를 활용하여 목표 함수를 분해하고 기대값 계산을 효율적으로 수행한다.
• 경험적 평가는 다양한 서브그래프 구조와 모델 유형 간의 성능을 비교한다.

실험 결과

연구 질문

• RQ1 타당한 서브그래프의 어떤 구조적 조건에서 구조적 평균장 목표의 효율적 최적화가 가능할 수 있는가?
• RQ2 서브그래프가 v-acyclic가 아닐 경우, 구조적 평균장 근사에서 추론을 어떻게 타당하게 만들 수 있는가?
• RQ3 서브그래프의 구조에 따라 계산 효율성과 근사 정확도 사이의 상호 교환 조건은 무엇인가?
• RQ4 제안된 방법은 기준 평균장 및 변분 추론 접근법에 비해 수렴성과 정확도 측면에서 어떻게 비교되는가?
• RQ5 보조 지수가중족 구성이 이질적인 경우에 최적화를 효과적으로 가능하게 하는가?

주요 결과

• 타당한 서브그래프가 v-acyclic일 경우, 기대값의 효율적 계산 덕분에 제안된 블록 좌표 상승 알고리즘이 상당한 속도 향상을 달성한다.
• 비-v-acyclic 서브그래프의 경우, 보조 지수가중족이 직접 계산이 불가능한 경우에도 실행 가능한 최적화를 가능하게 한다.
• 경험적 결과는 복잡한 종속성을 가진 모델에서 기준 방법 대비 경쟁 가능한 근사 정확도를 달성함을 보여준다.
• 수렴 속도와 계산 효율성 측면에서 v-acyclic 영역는 항상 비-v-acyclic 영역를 능가한다.
• 고차원 잠재변수와 복잡한 조건부 종속성을 가진 다양한 모델 구조에 대해 강건한 성능을 보여준다.
• 보조 지수가중족의 구성은 필요한 충분통계량을 효과적으로 포괄하여 어려운 케이스에서 정확한 기울기 계산을 가능하게 한다.