[논문 리뷰] What Cannot be Learned with Bethe Approximations

Uri Heinemann, Amir Globerson|arXiv (Cornell University)|2012. 02. 14.

Machine Learning and Algorithms참고 문헌 18인용 수 5

한 줄 요약

이 논문은 정확한 추론이 불가능할 때 그래픽 모델에서 베테 근사 기반 매개변수 학습이 일부 타당하고 일관된 경험적 근사값을 복원하지 못할 수 있음을 보여준다. 저자들은 근사의 내재된 한계로 인해 베테 학습이 실패하는 조건을 규명하여, 일부 근사값이 신뢰성 있는 고정점으로 수렴하지 못함을 보이며, 이는 방법의 적용 가능성에 대한 근본적인 제약을 드러낸다.

ABSTRACT

We address the problem of learning the parameters in graphical models when inference is intractable. A common strategy in this case is to replace the partition function with its Bethe approximation. We show that there exists a regime of empirical marginals where such Bethe learning will fail. By failure we mean that the empirical marginals cannot be recovered from the approximated maximum likelihood parameters (i.e., moment matching is not achieved). We provide several conditions on empirical marginals that yield outer and inner bounds on the set of Bethe learnable marginals. An interesting implication of our results is that there exists a large class of marginals that cannot be obtained as stable fixed points of belief propagation. Taken together our results provide a novel approach to analyzing learning with Bethe approximations and highlight when it can be expected to work or fail.

연구 동기 및 목표

• 정확한 추론이 불가능할 때 그래픽 모델의 매개변수 학습에서 베테 근사의 한계를 조사하기 위해.
• 타당한 경험적 근사값이지만 베테 학습을 통해 복원되지 않는 조건을 규명하기 위해.
• 신뢰성 있는 고정점으로 수렴하지 못하는 신뢰도 없는 믿음 전파의 수렴 조건을 명확히 하기 위해.
• 베테 근사를 사용할 때 학습 가능한 근사값의 집합에 대한 이론적 경계를 제공하기 위해.
• 베테 기반 학습 방법의 신뢰성 분석을 위한 새로운 프레임워크를 제공하기 위해.

제안 방법

• 저자들은 최대우도 학습에서 분할 함수의 베테 근사를 대체로 사용한다.
• 베테 근사 하에서 경험적 근사값이 믿음 전파의 고정점으로 표현될 수 있는 필요 및 충분 조건을 유도한다.
• 볼록성과 이중성 원리를 사용하여 베테로 학습 가능한 근사값의 외부 및 내부 경계를 설정한다.
• 베테 자유 에너지의 기하학적 성질과 임계점을 분석하여 순간 일치가 실패하는 영역을 규명한다.
• 반례를 사용하여 일부 경험적 근사값이 진정한 분포와 일관되더라도 베테 학습을 통해 복원되지 않는 영역을 입증한다.
• 베테 학습의 실패 원인이 특정 근사값 구성에서 안정적 고정점이 존재하지 않기 때문임을 연결한다.

실험 결과

연구 질문

• RQ1 어떤 조건에서 경험적 근사값에 대해 베테 근사 기반 학습이 순간 일치를 달성하지 못하는가?
• RQ2 모든 타당한 경험적 근사값이 베테 근사 하에서 믿음 전파의 안정적 고정점으로 표현될 수 있는가?
• RQ3 학습 가능한 근사값의 집합을 제한하는 기하학적 또는 대수적 제약 조건은 무엇인가?
• RQ4 베테로 학습 가능한 근사값의 외부 및 내부 경계는 진정한 가능한 근사값 집합과 어떻게 관련이 있는가?
• RQ5 왜 일부 일관된 경험적 근사값은 타당함에도 불구하고 베테 학습으로 복원되지 않는가?

주요 결과

• 진짜 분포와 일관되지만, 베테 근사 기반 학습으로는 복원할 수 없는 경험적 근사값이 존재한다.
• 베테로 학습 가능한 근사값의 집합은 모든 타당한 경험적 근사값의 집합보다 엄격히 작다.
• 어떤 경험적 근사값도 안정적 고정점으로 수렴하지 못할 수 있으며, 이는 타당함에도 불구하고 가능하지 않음을 의미한다.
• 저자들은 베테로 학습 가능한 근사값의 집합에 대해 명시적인 외부 및 내부 경계를 제공하여 실패 영역을 특성화한다.
• 베테 학습의 실패 원인은 베테 자유 에너지의 비볼록성과 비정칙성에 기인한다.
• 결과적으로, 복잡한 의존성 구조를 가진 모델에서는 베테 근사가 정확한 추론을 항상 대체할 수 없다는 것이 드러났다.