[논문 리뷰] Learning with Scope, with Application to Information Extraction and Classification

David M. Blei, J. Andrew Bagnell외 1명|arXiv (Cornell University)|2012. 12. 12.

Gaussian Processes and Bayesian Inference참고 문헌 5인용 수 6

한 줄 요약

이 논문은 전역 특징(예: 단어 내용)과 범위 제한된 국소 특징(예: 웹 페이지 내 단어 형식)을 동시에 학습하는 계층적 확률 모델을 제안한다. 국소 규칙성은 데이터 부분집합별로 추정되는 관측되지 않는 랜덤 매개변수를 통해 모델링되며, 추론 과정에서 국소 패턴에 적응함으로써 전역 특징만을 사용하는 모델에 비해 분류 및 정보 추출 성능이 크게 향상된다.

ABSTRACT

In probabilistic approaches to classification and information extraction, one typically builds a statistical model of words under the assumption that future data will exhibit the same regularities as the training data. In many data sets, however, there are scope-limited features whose predictive power is only applicable to a certain subset of the data. For example, in information extraction from web pages, word formatting may be indicative of extraction category in different ways on different web pages. The difficulty with using such features is capturing and exploiting the new regularities encountered in previously unseen data. In this paper, we propose a hierarchical probabilistic model that uses both local/scope-limited features, such as word formatting, and global features, such as word content. The local regularities are modeled as an unobserved random parameter which is drawn once for each local data set. This random parameter is estimated during the inference process and then used to perform classification with both the local and global features--- a procedure which is akin to automatically retuning the classifier to the local regularities on each newly encountered web page. Exact inference is intractable and we present approximations via point estimates and variational methods. Empirical results on large collections of web data demonstrate that this method significantly improves performance from traditional models of global features alone.

연구 동기 및 목표

• 웹 페이지와 같이 특정 데이터 부분집합 내에서만 예측 가능한 범위 제한된 특징(예: 형식 또는 레이아웃 패턴)을 효과적으로 활용하는 데 도전하는 것.
• 추론 과정에서 데이터 부분집합별로 추정되는 관측되지 않는 랜덤 매개변수를 통해 국소 규칙성을 모델링하는 것.
• 통합된 확률적 프레임워크 내에서 국소 및 전역 특징을 결합하여 분류 및 정보 추출 성능을 향상시키는 것.
• 새로운 데이터 분포에 대해 실시간으로 국소 패턴에 맞게 분류기를 자동으로 재조정할 수 있도록 하는 것.

제안 방법

• 각 국소 데이터 세트(예: 웹 페이지)가 고유한 관측되지 않는 랜덤 매개변수를 가지며, 이 매개변수가 범위 제한된 특징을 제어하는 계층적 구조를 모델이 도입한다.
• 국소 특징(예: 굵은 글꼴, 폰트 크기)은 이 개별 인스턴스 매개변수에 조건부로 모델링되며, 이는 데이터 특화된 규칙성을 포착한다.
• 전역 특징(예: 단어 내용)은 독립적으로 모델링되며 모든 데이터 부분집합에 공유된다.
• 정확한 추론이 불가능하므로 추론 과정에서 점 추정치와 변분 근사법을 사용하여 확장 가능한 학습을 가능하게 한다.
• 학습 과정에서 국소 매개변수의 분포를 학습하고 예측 시 적용하여 새로운 데이터의 국소 패턴에 적응한다.
• 이 프레임워크는 각 인스턴스별 국소 규칙성을 추정하고 적용함으로써 분류기의 자동 재조정을 가능하게 한다.

실험 결과

연구 질문

• RQ1 확률 모델이 데이터 부분집합 간으로 다양해지는 전역 특징과 범위 제한된 국소 특징을 효과적으로 학습할 수 있는가?
• RQ2 웹 페이지의 형식 패턴과 같은 국소 규칙성은 미리 보지 않은 데이터에서 어떻게 모델링하고 적응할 수 있는가?
• RQ3 계층적 구조를 통해 국소 및 전역 특징을 통합하면 전역 특징 전용 모델에 비해 분류 및 정보 추출 성능이 향상되는가?
• RQ4 변분 방법과 같은 근사 추론 기법을 사용해 국소 매개변수를 학습할 때 계산 비용이 급격히 증가하지 않도록 효과적으로 적용할 수 있는가?

주요 결과

• 제안된 모델은 전역 특징에 의존하는 모델에 비해 대규모 웹 데이터 컬렉션에서 성능이 뚜렷이 향상된다.
• 범위 제한된 특징의 통합은 분류 및 정보 추출 정확도에 측정 가능한 향상을 이끈다.
• 데이터 부분집합별로 관측되지 않는 랜덤 매개변수를 사용함으로써 추론 과정에서 국소 데이터 패턴에 효과적으로 적응할 수 있다.
• 변분 방법과 점 추정치를 통한 근사 추론은 높은 성능를 유지하면서도 실용적인 확장성을 달성한다.
• 실험 결과는 국소 규칙성을 잠재 매개변수로 모델링함으로써 새로운 데이터에 대해 다른 국소 패턴을 가진 경우에도 일반화 성능이 향상됨을 보여준다.
• 이 방법은 효과적으로 데이터 특화된 형식 및 구조적 신호를 포착하고 활용함으로써 전통적인 전역 특징 전용 모델을 능가한다.