[논문 리뷰] WebSets: Extracting Sets of Entities from the Web Using Unsupervised Information Extraction

Bhavana Dalvi, William W. Cohen외 1명|arXiv (Cornell University)|2013. 06. 30.

Web Data Mining and Analysis인용 수 12

한 줄 요약

WebSets는 HTML 테이블에서 분포 유사성(term)을 가진 용어를 중복되는 인스턴스 3개 조합을 이용해 군집화하고 Hearst 패턴을 결합함으로써 대규모이고 정확한 개념-인스턴스 쌍을 추출하는 비지도 학습 방법을 제안한다. 이 방법은 최소한의 사용자 레이블링으로 97–99%의 정확도를 달성하며, 이전 방법보다 약 100배 더 많은 쌍을 생성하면서도 순수도와 효율성에서 k-means를 능가한다.

ABSTRACT

We describe a open-domain information extraction method for extracting concept-instance pairs from an HTML corpus. Most earlier approaches to this problem rely on combining clusters of distributionally similar terms and concept-instance pairs obtained with Hearst patterns. In contrast, our method relies on a novel approach for clustering terms found in HTML tables, and then assigning concept names to these clusters using Hearst patterns. The method can be efficiently applied to a large corpus, and experimental results on several datasets show that our method can accurately extract large numbers of concept-instance pairs.

연구 동기 및 목표

• 오픈 도메인 웹 코퍼스에서 자동으로 대규모이고 정확한 개념-인스턴스 쌍을 수확하는 데 도전하는 것.
• 자유 텍스트와 분포 군집화에 의존하는 기존 방법을 개선하기 위해 HTML 테이블에 전적으로 초점을 맞추는 것.
• 테이블의 열 간 중복되는 인스턴스 3개 조합을 통해 고정밀도로 좌표어(term)를 식별하는 확장 가능한 비지도 군집 기법을 개발하는 것.
• 하이포니미(하위개념) 패턴과 좌표어 군집을 결합하여 이전 방법보다 더 높은 정확도와 커버리지로 개념-인스턴스 쌍을 생성하는 것.
• 클러스터당 최소한의 사용자 레이블링으로도 개념-인스턴스 쌍 추출의 정확도가 거의 완벽한 수준(97–99%)에 도달할 수 있음을 보여주는 것.

제안 방법

• 이 방법은 HTML 테이블에서 발견된 용어를 중복되는 인스턴스 3개 조합을 활용해 군집화하는 새로운 알고리즘을 사용하여 좌표어를 탐지한다.
• 군집의 순수도는 열 간 인스턴스 3개 조합의 겹침을 기반으로 계산되어, 동일한 개념을 공유하는 용어를 고정밀도로 그룹화함을 보장한다.
• 군집 알고리즘은 O(N log N) 시간 복잡도를 가지며, 대규모 응용에 있어 k-means나 계층 군집보다 더 효율적이다.
• 후보 군집에 대해 Hearst 패턴을 적용하여 개념-인스턴스 쌍을 생성하며, 'X들 중 Y와 같은 것들'과 같은 표면 패턴을 사용해 하위개념 관계를 추론한다.
• 새로운 조합 전략은 후보 개념-인스턴스 쌍과 좌표어 군집을 통합하여 이전 방법보다 정확도와 커버리지를 향상시킨다.
• 클러스터당 소량의 사용자 제공 레이블링을 활용해 개념 이름을 보정함으로써 정확도를 97–99%로 크게 향상시킨다.

실험 결과

연구 질문

• RQ1 HTML 테이블 내 인스턴스의 중복 3개 조합을 기반으로 한 군집 방법이 기존의 분포 군집화보다 좌표어 식별에서 더 우수한 성능을 보일 수 있는가?
• RQ2 Hearst 패턴과 테이블 기반 좌표어 군집을 결합하면 이전 방법보다 더 높은 정확도와 확장성을 확보할 수 있는가?
• RQ3 클러스터당 최소한의 사용자 입력이 개념-인스턴스 쌍 추출의 정확도를 어느 정도 향상시킬 수 있는가?
• RQ4 결과로 도출된 실체 집합이 대규모 웹 코퍼스의 효과적인 요약으로 기능할 수 있는가?
• RQ5 제안된 방법은 지능, 음악, 일반 웹 데이터와 같은 다양한 코퍼스에서 어떻게 확장되고 성능을 발휘하는가?

주요 결과

• 제안된 군집 방법은 군집 순수도가 83%에서 99% 사이로 나타나, k-means보다 순수도, Rand 지수, Fowlkes-Mallows 지수에서 뚜렷한 우월성을 보였다.
• 이 방법은 Van Durme와 Pasca [26]의 방법보다 거의 100배 더 많은 개념-인스턴스 쌍을 생성했으며, 테이블이 풍부한 코퍼스에서 정확도를 50%에서 78%로 향상시켰다.
• 클러스터당 소량의 사용자 레이블링만으로도 네 가지 다른 코퍼스에서 개념-인스턴스 쌍의 정확도가 97–99%로 고정밀도를 달성했다.
• WebSets가 생성한 레이블된 실체 집합은 대규모 HTML 코퍼스의 내용을 효과적으로 요약하며, 소스 테이블과 도메인에 대한 링크를 제공해 탐색이 가능하다.
• 이 연구에서 생성된 데이터셋과 수작업 평가 자료는 향후 연구를 위해 공개되어 있다.
• 군집 알고리즘의 시간 복잡도는 O(N log N)이며, 대규모 응용에 있어 k-means나 계층 군집보다 더 효율적이다.