[논문 리뷰] Piecewise Training for Undirected Models

Charles Sutton, Andrew McCallum|arXiv (Cornell University)|2012. 07. 04.

Topic Modeling참고 문헌 16인용 수 146

한 줄 요약

이 논문은 각 클리크에서 개별적으로 로컬 분류기를 훈련한 후 이를 종합하여 글로벌 모델을 만드는 조각별 훈련을 비방향 모델에 제안한다. 이 방법은 로그 분할 함수의 상한을 최소화하는 것으로 정당화되며, 세 개의 NLP 데이터셋에서 허위우도성보다 높은 정확도를 보이며 글로벌 훈련과 경쟁 가능한 성능을 보인다.

ABSTRACT

For many large undirected models that arise in real-world applications, exact maximumlikelihood training is intractable, because it requires computing marginal distributions of the model. Conditional training is even more difficult, because the partition function depends not only on the parameters, but also on the observed input, requiring repeated inference over each training example. An appealing idea for such models is to independently train a local undirected classifier over each clique, afterwards combining the learned weights into a single global model. In this paper, we show that this piecewise method can be justified as minimizing a new family of upper bounds on the log partition function. On three natural-language data sets, piecewise training is more accurate than pseudolikelihood, and often performs comparably to global training using belief propagation.

연구 동기 및 목표

• 정확한 최대우도 훈련이 분할 함수의 비계산성으로 인해 큰 비방향 모델에서 비현실적이므로 이를 해결하기 위해.
• 관측된 입력에 따라 분할 함수가 달라지는 조건부 모델을 위한 확장 가능한 훈련 방법을 개발하기 위해.
• 클리크별로 로컬 모델을 훈련하는 조각별 훈련을 글로벌 훈련의 이론적으로 타당한 대안으로 제안하기 위해.
• 실세계 NLP 데이터셋에서 조각별 훈련을 허위우도성 및 신뢰도 기반 글로벌 훈련과 비교하기 위해.

제안 방법

• 이 방법은 그래픽 모델의 각 클리크에서 독립적으로 로컬 비방향 분류기를 훈련한다.
• 모든 클리크에서 학습된 가중치를 하나의 글로벌 모델로 통합한다.
• 이 접근법은 로그 분할 함수의 상한을 최소화하는 것으로 이론적으로 정당화된다.
• 비가역적인 분할 함수를 근사하기 위해 변분 추론 기법을 사용하여 상한을 유도한다.
• 전체 모델에 대한 전체 추론을 피하기 위해 국소 클리크에 집중하는 훈련 절차를 사용한다.
• 최종 글로벌 모델은 공동 최적화 없이 국소 파rameter를 집계하여 구성된다.

실험 결과

연구 질문

• RQ1 국소 클리크의 조각별 훈련이 글로벌하게 일관되고 정확한 비방향 모델을 생성할 수 있는가?
• RQ2 조각별 훈련이 로그 분할 함수의 상한을 최소화하는 것으로 이론적으로 정당화되는가?
• RQ3 조각별 훈련의 정확도가 허위우도성 및 신뢰도 기반 글로벌 훈련과 비교해 어떻게 되는가?
• RQ4 조건부 모델에서 분할 함수가 입력에 따라 달라질 경우 조각별 방법이 성능을 유지하는가?

주요 결과

• 조각별 훈련은 평가된 세 개의 자연어 데이터셋에서 모두 허위우도성보다 높은 정확도를 달성했다.
• 예측 성능 측면에서 조각별 훈련은 신뢰도 기반 글로벌 훈련과 유사한 성능을 보였다.
• 이론적 정당화에 따르면 조각별 훈련은 로그 분할 함수의 상한을 최소화하는 가족을 형성한다.
• 이 방법은 확장 가능하며, 훈련 중 전체 추론의 계산 부담을 피한다.