[논문 리뷰] Inducing Features of Random Fields

S. Della Pietra, V. Della Pietra외 1명|arXiv (Cornell University)|1995. 06. 13.

Neural Networks and Applications인용 수 63

한 줄 요약

이 논문은 훈련 데이터에서 점진적으로 특징을 추가함으로써 점차 복잡해지는 무작위 분포를 유도하기 위한 탐욕적이고 반복적인 알고리즘을 소개한다. 이 알고리즘은 점차 복잡해지는 부분 그래프에 지원되는 잠재 함수(특징)를 추가하고, Kullback-Leibler 발산을 최소화하기 위해 반복 스케일링을 통해 가중치를 최적화한다. 이 방법은 높은 매개변수 복잡도를 지닌 비마르코프 무작위 분포를 구성하며, [a-z], [a-z][a-z], [0-9][0-9], [a-z][A-Z] 등의 유도된 특징을 포함한 단어 형태학 모델링에서 성공을 거두었다.

ABSTRACT

We present a technique for constructing random fields from a set of training samples. The learning paradigm builds increasingly complex fields by allowing potential functions, or features, that are supported by increasingly large subgraphs. Each feature has a weight that is trained by minimizing the Kullback-Leibler divergence between the model and the empirical distribution of the training data. A greedy algorithm determines how features are incrementally added to the field and an iterative scaling algorithm is used to estimate the optimal values of the weights. The statistical modeling techniques introduced in this paper differ from those common to much of the natural language processing literature since there is no probabilistic finite state or push-down automaton on which the model is built. Our approach also differs from the techniques common to the computer vision literature in that the underlying random fields are non-Markovian and have a large number of parameters that must be estimated. Relations to other learning approaches including decision trees and Boltzmann machines are given. As a demonstration of the method, we describe its application to the problem of automatic word classification in natural language processing. Key words: random field, Kullback-Leibler divergence, iterative scaling, divergence geometry, maximum entropy, EM algorithm, statistical learning, clustering, word morphology, natural language processing

연구 동기 및 목표

• 훈련 데이터로부터 점차 복잡해지는 무작위 분포를 체계적으로 구성하기 위한 방법을 개발한다.
• 고차원적이고 비마르코프 무작위 분포 모델에서 정보성 있는 특징을 선택하고 그 가중치를 추정하는 데 도전한다.
• 마르코프 무작위 분포를 초월하여 겹치는, 계층적인 특징을 지원하는 일반적인 통계 모델링 프레임워크를 제공한다.
• 원칙적인 학습 접근법을 통해 자연어 처리 작업, 특히 단어 형태학에서 자동으로 특징을 발견할 수 있도록 한다.

제안 방법

• 알고리즘은 점차 더 큰 부분 그래프에 지원되는 특징을 점진적으로 추가함으로써 무작위 분포를 구축한다. 기초 모델은 균일한 모델에서 시작된다.
• 각 특징은 학습 가능한 가중치를 가진 잠재 함수(예: 문자 클래스 또는 n-그램 패턴의 지시자)이다.
• 특징 가중치는 모델 분포와 경험적 데이터 분포 사이의 Kullback-Leibler 발산을 최소화하기 위해 반복 스케일링을 통해 최적화된다.
• 탐욕적 알고리즘이 발산을 가장 크게 줄이는 특징을 선택하여 점진적인 향상을 보장한다.
• 이 알고리즘은 겹치는 특징을 지원하며, 의사결정 트리의 범위를 초월하여 더 풍부한 모델링을 가능하게 한다.
• 이 프레임워크는 조건부 지수 모델로 확장되어 구조 예측 작업에의 응용을 가능하게 한다.

실험 결과

연구 질문

• RQ1 훈련 데이터의 경험적 분포를 더 잘 근사하기 위해 어떻게 무작위 분포를 점진적으로 구성할 수 있는가?
• RQ2 탐욕적이고 반복적인 특징 유도 과정에서 새로운 특징을 선택할 때 어떤 기준을 따라야 하는가?
• RQ3 경험적 분포에서의 발산을 최소화하기 위해 특징 가중치를 효율적으로 추정하는 방법은 무엇인가?
• RQ4 이 방법은 사전 특징 설계 없이 단어 형태학에서 의미 있는 언어 패턴을 얼마나 잘 유도할 수 있는가?
• RQ5 기존의 방법들인 의사결정 트리, 볼츠만 기계, 또는 동적 마르코프 코딩과 비교했을 때 이 방법은 어떠한가?

주요 결과

• 알고리즘이 단어 형태학에 대해 총 1,000개의 특징을 성공적으로 유도하였으며, [a-z], [a-z][a-z], [0-9][0-9], [a-z][A-Z] 등이 포함되었다. 각 특징의 가중치는 각각 약 1.04와 1.08였다.
• 유도된 특징 [a-z][a-z]의 가중치는 1.08이었으며, 영어 단어에서 연속된 소문자 문자 조합이 상당히 높은 확률로 나타남을 시사한다.
• 특징 [0-9][0-9]는 가중치 0.85를 할당받아, 균일 분포 기준으로 예상되는 것보다 두 자릿수 조합이 덜 흔한 것으로 나타났다.
• 최종 모델에서의 깁스 샘플링을 통해 'was', 'there', 'to', 'will', 'proveral'과 같은 영어와 유사한 문자열이 생성되어 언어적으로 타당한 결과를 보였다.
• 이 방법은 겹치는 고차원 특징을 통해 비마르코프 의존성을 포착함으로써 베이스라인 모델을 능가하였다.
• 이 프레임워크는 조건부 지수 모델로 일반화되어 기계 번역과 같은 작업에의 응용이 가능하다.