[논문 리뷰] Polyhedral aspects of score equivalence in Bayesian network structure learning

James Cussens, David Haws외 1명|arXiv (Cornell University)|2015. 03. 03.

Bayesian Modeling and Causal Inference참고 문헌 29인용 수 27

한 줄 요약

이 논문은 가족-변수 다면체의 점수 등가성(Se)을 가지는 면들과 특성-임셋 다면체의 면들 사이에 일대일 대응을 수립하며, Se 면들이 극단적인 초모듈라 함수에 대응함을 보여준다. 비-Se 면들은 점수 등가성 목적을 최적화할 때 안전하게 생략될 수 있지만, 정확한 최적화를 위해서는 가족-변수 모델에서 면을 이루지 않는 특성-임셋 다면체의 제약 조건을 포함시켜야 한다는 점을 강조한다.

ABSTRACT

This paper deals with faces and facets of the family-variable polytope and the characteristic-imset polytope, which are special polytopes used in integer linear programming approaches to statistically learn Bayesian network structure. A common form of linear objectives to be maximized in this area leads to the concept of score equivalence (SE), both for linear objectives and for faces of the family-variable polytope. We characterize the linear space of SE objectives and establish a one-to-one correspondence between SE faces of the family-variable polytope, the faces of the characteristic-imset polytope, and standardized supermodular functions. The characterization of SE facets in terms of extremality of the corresponding supermodular function gives an elegant method to verify whether an inequality is SE-facet-defining for the family-variable polytope. We also show that when maximizing an SE objective one can eliminate linear constraints of the family-variable polytope that correspond to non-SE facets. However, we show that solely considering SE facets is not enough as a counter-example shows; one has to consider the linear inequality constraints that correspond to facets of the characteristic-imset polytope despite the fact that they may not define facets in the family-variable mode.

연구 동기 및 목표

• 베이지안 네트워크 구조 학습을 위한 정수선형계획법(ILP)의 맥락에서 점수 등가성(SE)을 특성화하기.
• 가족-변수 다면체의 SE 면들과 특성-임셋 다면체의 면들 사이에 일대일 대응을 수립하기.
• 가족-변수 모델에서 SE 목표 함수를 정확히 최적화하기 위해 SE 면들만으로도 충분한지 여부를 판단하기.
• 가족-변수 모델에서 면을 이루지 않는 특성-임셋 다면체에서 유래한 제약 조건이 ILP 설정에서 어떤 역할을 하는지 명확히 하기.
• 해당 초모듈라 함수가 극단적인지 여부를 통해 가족-변수 다면체에서 부등식이 면을 정의하는지 확인하는 방법을 제공하기.

제안 방법

• 가족-변수 다면체를 DAG-코드(ηG)의 볼록결합으로, 특성-임셋 다면체를 특성-임셋의 볼록결합으로 정의한다.
• 마르코프 등가성에 대한 불변성에 기반해 선형 목표 함수와 가족-변수 다면체의 면들에 대해 점수 등가성(SE)의 개념을 도입한다.
• SE 목표 함수의 선형 공간을 특성화하고, 가족-변수 다면체의 SE 면들과 표준화된 초모듈라 집합 함수 사이의 대응 관계를 수립한다.
• 초모듈라 함수의 극단성 개념을 사용하여 SE 면을 특성화한다: 부등식이 가족-변수 다면체에서 SE 면을 정의하는 것은 그에 대응하는 초모듈라 함수가 극단적일 때이고 뿐이다.
• 해당 초모듈라 함수가 극단적임을 보여줌으로써 일반화된 클러스터 부등식이 가족-변수 다면체에서 면을 정의함을 증명한다.
• 가족-변수 다면체의 SE 면들과 특성-임셋 다면체의 면들 사이에 일대일 대응을 수립하고, 특성-임셋 표현에서 클러스터 부등식의 형태를 유도한다.

실험 결과

연구 질문

• RQ1 베이지안 네트워크 구조 학습에서 어떤 선형 목표 함수가 점수 등가성을 가지며, 그들은 대수적으로 어떻게 특성화될 수 있는가?
• RQ2 점수 등가성 하에서 가족-변수 다면체의 면들과 특성-임셋 다면체의 면들 사이의 정확한 관계는 무엇인가?
• RQ3 가족-변수 모델에서 SE 목표 함수를 최적화할 때 모든 비-SE 면들을 안전하게 제거할 수 있는가?
• RQ4 가족-변수 다면체에서 SE 목표 함수를 최적화하기 위해 SE 면들만으로도 가용 영역을 정의할 수 있는가?
• RQ5 가족-변수 모델에서 면을 이루지 않더라도 특성-임셋 다면체에서 유래한 제약 조건은 어떤 역할을 하는가?

주요 결과

• 가족-변수 다면체의 SE 면들과 특성-임셋 다면체의 면들 사이에 일대일 대응이 존재하며, 포함 관계가 유지된다.
• 가족-변수 다면체의 SE 면들은 정확히 1-임셋을 포함하는 특성-임셋 다면체의 면들에 대응한다.
• 부등식이 가족-변수 다면체에서 면을 정의하는 것은 그에 대응하는 초모듈라 함수가 극단적일 때이고 뿐이며, 이는 간결한 검증 방법을 제공한다.
• 일반화된 클러스터 부등식이 그에 대응하는 극단적인 초모듈라 함수 덕분에 가족-변수 다면체에서 면을 정의함을 증명하였다.
• 비록 모든 비-SE 면들이 제거되고 오직 SE 면들만 사용되더라도 최적해가 여전히 타당하지 않을 수 있음을 보여주는 반례를 구성함으로써, 특성-임셋 다면체에서 유래한 제약 조건이 필수적임을 입증하였다.
• 비음성, 수정된 볼록성, 그리고 SE 면 제약 조건을 모두 만족하지만 최적 목표치 16을 초과하는 벡터 η⋆ = (1+ε)·η†는 SE 면들만으로는 정확한 최적화가 불가능함을 증명한다.