[논문 리뷰] Hardness of parameter estimation in graphical models

Guy Bresler, David Gamarnik외 1명|arXiv (Cornell University)|2014. 09. 12.

Machine Learning and Algorithms참고 문헌 17인용 수 5

한 줄 요약

이 논문은 이元 이진 그래픽 모델, 특히 하드코어 모델에서 평균 매개변수로부터 캐논리컬 매개변수를 학습하는 것이 조작적으로 비가역적임을 입증한다. 저자들은 다항 시간 축소를 통해 μ ↦ θ의 역매핑을 근사화하는 것이 NP-난이도임을 증명하며, 이는 경계의 새로운 반발력 성질에 기반한다. 이 성질은 다각형 구조에 대한 명시적 지식 없이도 제약 조건 없이 투영된 경사하강법 최적화를 가능하게 한다.

ABSTRACT

We consider the problem of learning the canonical parameters specifying an undirected graphical model (Markov random field) from the mean parameters. For graphical models representing a minimal exponential family, the canonical parameters are uniquely determined by the mean parameters, so the problem is feasible in principle. The goal of this paper is to investigate the computational feasibility of this statistical task. Our main result shows that parameter estimation is in general intractable: no algorithm can learn the canonical parameters of a generic pair-wise binary graphical model from the mean parameters in time bounded by a polynomial in the number of variables (unless RP = NP). Indeed, such a result has been believed to be true (see the monograph by Wainwright and Jordan (2008)) but no proof was known. Our proof gives a polynomial time reduction from approximating the partition function of the hard-core model, known to be hard, to learning approximate parameters. Our reduction entails showing that the marginal polytope boundary has an inherent repulsive property, which validates an optimization procedure over the polytope that does not use any knowledge of its structure (as required by the ellipsoid method and others).

연구 동기 및 목표

• 무향 그래픽 모델에서의 매개변수 추정의 계산 가능성 여부를 조사하며, 특히 평균 매개변수에서 캐논리컬 매개변수로의 역매핑을 다룬다.
• 유일한 매개변수화가 존재하므로 통계적으로 가능하지만, 최대우도 추정이 계산적으로 가능할 수 있는지 여부를 규명한다.
• 오랫동안 미해결된 열린 문제인 하드코어 모델에서의 매개변수 추정이 계산적으로 어려운지, 널리 추측되긴 했지만 증명되지 않았는지를 해결한다.
• 다각형의 구조적 지식 없이도 그 내재된 기하적 성질을 이용해 명시적 다각형 구조 지식 없이 최적화 프레임워크를 개발한다.

제안 방법

• 저자들은 하드코어 모델의 분할 함수 근사화 문제—이미 알려진 바와 같이 NP-난이도—에서 평균 매개변수로부터 캐논리컬 매개변수를 근사화하는 문제로의 다항 시간 축소를 사용한다.
• 목적 함수의 제약 조건이 있는 볼록 최적화 문제로서 로그-분할 함수의 변분 특성화를 적용하며, 목적 함수의 기울기 값은 역매핑 θ = μ ↦ θ에 해당한다.
• 투영된 경사하강법을 사용하여 목적 함수를 최소화하며, 투영 연산자는 반복값이 타당 영역 내에 머물도록 보장한다. 이때 다각형의 구조에 대한 명시적 지식이 필요로 하지 않는다.
• 핵심적인 기술적 혁신은 다각형 경계가 내재된 반발력 성질을 지니고 있음을 증명하는 것이다. 이 성질은 제약 조건을 명시적으로 강제하지 않더라도 반복값이 타당 영역을 벗어나지 않도록 한다.
• 레마를 통해 μ_i와 ε-근접 영역에 기반하여 캐논리컬 매개변수 θ_i의 크기를 유계화하며, 이는 기울기 안정성과 수렴성을 보장한다.
• 증명은 활성 제약 조건(위반에 가까운 제약 조건)이 반복값을 경계에 더 가까이 끌고 오지 않음을 보여, 반복 과정 전반에 걸쳐 타당성이 유지됨을 보여준다.

실험 결과

연구 질문

• RQ1 평균 매개변수로부터 캐논리컬 매개변수를 유일하게 결정할 수 있음에도 불구하고, 이원 이진 그래픽 모델에서의 매개변수 추정이 계산적으로 타당한가?
• RQ2 역매핑 μ ↦ θ는 다항 시간 내에 근사화될 수 있는가, 아니면 NP-난이도인가?
• RQ3 다각형의 기하학적 구조는 제약 조건 없이 최적화를 가능하게 하는가, 특히 면의 구조를 명시적으로 알지 못하더라도 말이다?
• RQ4 분할 함수 근사화의 난이도를 매개변수 추정의 난이도로 감소시킬 수 있는가, 이는 두 문제 간의 계산적 동치성을 확립하는가?
• RQ5 다각형 경계에 내재된 구조적 성질이 제약 조건 없이 기울기 기반 최적화를 가능하게 하는가?

주요 결과

• 하드코어 모델에서의 매개변수 추정은 어떤 상수 요인 내에서도 근사화하는 데 NP-난이도이며, 다항 시간 근사 스킴조차도 마찬가지다.
• 분할 함수 근사화에서 매개변수 추정으로의 축소는 다항 시간이므로, 두 문제 간의 계산적 동치성을 확립한다.
• 다각형 경계는 반발력 성질을 지니며, 이는 투영된 경사하강법 중 반복값이 경계에 접근하지 않도록 방지함으로써 제약 조건 없이 최적화를 가능하게 한다.
• 캐논리컬 매개변수 θ_i는 다각형 경계에 가까운 정도에 따라 유계화되며, μ_i + ε가 타당할 경우 θ_i ≤ p/ε이고, μ_i ≥ qε일 경우 θ_i ≥ -p/(qε)이다.
• 다각형의 구조에 대한 명시적 지식 없이도 반발력 경계 효과 덕분에 투영된 경사하강법이 타당하고 수렴성을 유지한다.
• 이 결과는 오랫동안 미해결이었던 그래픽 모델 분야의 핵심 열린 문제를 해결하며, 통계 모델이 잘 정의되어 있더라도 매개변수 추정이 계산적으로 비가역적임을 확인한다.