[논문 리뷰] CERES: Distantly Supervised Relation Extraction from the Semi-Structured Web

Colin Lockard, Dong Xin외 2명|arXiv (Cornell University)|2018. 04. 12.

Web Data Mining and Analysis참고 문헌 32인용 수 10

한 줄 요약

CERES는 수동 주석 없이 고품질의 훈련 레이블을 생성하기 위해 실체 연결과 구조적 클러스터링을 활용하는 원거리 지도 학습 기반 관계 추출 방법을 제안한다. 주제 실체와 핵심-값 패턴에 초점을 맞추어, 다국어 장꼬리 웹사이트의 40만 페이지에서 125만 개의 사실을 90% 정밀도로 추출한다.

ABSTRACT

The web contains countless semi-structured websites, which can be a rich source of information for populating knowledge bases. Existing methods for extracting relations from the DOM trees of semi-structured webpages can achieve high precision and recall only when manual annotations for each website are available. Although there have been efforts to learn extractors from automatically-generated labels, these methods are not sufficiently robust to succeed in settings with complex schemas and information-rich websites. In this paper we present a new method for automatic extraction from semi-structured websites based on distant supervision. We automatically generate training labels by aligning an existing knowledge base with a web page and leveraging the unique structural characteristics of semi-structured websites. We then train a classifier based on the potentially noisy and incomplete labels to predict new relation instances. Our method can compete with annotation-based techniques in the literature in terms of extraction quality. A large-scale experiment on over 400,000 pages from dozens of multi-lingual long-tail websites harvested 1.25 million facts at a precision of 90%.

연구 동기 및 목표

• 각 웹사이트에 대해 수동 주석 없이도 완전 자동으로 반구조화된 웹사이트에서 관계 추출을 가능하게 하는 것.
• 반구조화된 웹페이지의 구조적 특성을 활용하여 원거리 지도 학습에서 노이즈가 많고 불완전한 레이블 문제를 해결하는 것.
• 다양한 레이아웃과 불완전한 데이터를 가진 복잡하고 정보가 풍부한 웹사이트에서 추출 품질을 향상시키는 것.
• 단일 통합 프레임워크를 사용해 다양한 도메인과 언어로 관계 추출을 스케일링하는 것.
• 실제 대규모 데이터에서 기존의 주석 기반 및 약한 지도 학습 방법에 비해 정밀도와 재현율 측면에서 슈퍼리오어 성능을 달성하는 것.

제안 방법

• 먼저 실체 연결을 통해 각 웹페이지의 주제 실체를 식별하여 시드 지식 기반과 정렬한다.
• 주제 실체와 관련이 있는 것으로 알려진 모든 실체를 페이지 내에서 주석 처리하여 이차적 주석 복잡도를 선형으로 감소시킨다.
• 구조적 유사성 기반으로 페이지 전반의 핵심-값 쌍을 클러스터링하여 술어별 영역을 식별하고 레이블 정확도를 향상시킨다.
• 실체 연결, 클러스터링, 관계 분류를 조합한 다단계 파이프라인을 사용하여 자동으로 생성된 레이블로 지도 학습 추출기를 훈련시킨다.
• 동일 웹사이트 내 페이지 간 일관된 구조적 패턴을 활용하여 일반화 능력과 견고성을 향상시킨다.
• 기존 시드 지식 기반에 없는 새로운 실체를 발견할 수 있도록 설계되어 더 넓은 지식 기반 커버리지가 가능하다.

실험 결과

연구 질문

• RQ1 복잡한 레이아웃과 불완전한 데이터를 가진 반구조화된 웹사이트에 원거리 지도 학습을 효과적으로 적용할 수 있는가?
• RQ2 반구조화된 웹사이트의 구조적 특성을 어떻게 활용하여 원거리 지도 학습 기반 관계 추출에서 노이즈가 많은 주석을 줄일 수 있는가?
• RQ3 수동 주석 없이도 주석 기반 워퍼 유도 방법과 비교해 정밀도가 유사한 원거리 지도 학습 방법을 구현할 수 있는가?
• RQ4 다양한 템플릿과 데이터 품질을 가진 다국어 장꼬리 웹사이트에서 이 방법의 확장성은 어느 정도인가?
• RQ5 주제 실체 식별과 구조적 클러스터링이 함께 작용하여 자동 생성된 훈련 레이블의 품질을 향상시킬 수 있는가?

주요 결과

• CERES는 SWDE 데이터셋에서 여러 수직 분야에서 평균 정밀도가 90% 이상을 기록하며, 많은 주석 기반 워퍼 유도 방법을 능가했다.
• 수십 개의 다국어 장꼬리 웹사이트에서 40만 페이지 이상을 포함한 대규모 추출 프로젝트에서 CERES는 125만 개의 사실을 90% 정밀도로 추출했다.
• 주제 실체에 초점을 맞추고 구조적 클러스터링을 활용함으로써 유사 주석을 크게 줄여, 노이즈가 많은 원거리 지도 학습에도 불구하고 레이블 품질을 향상시켰다.
• CERES는 시드 지식 기반에 없는 새로운 실체를 성공적으로 발견하여, 알려진 실체에 국한된 방법보다 더 넓은 지식 기반 커버리지가 가능했다.
• 다양한 템플릿, 레이아웃, 데이터 완전성 수준을 가진 웹사이트 간에도 강력한 일반화 능력을 보였다.
• 수동 주석이 전혀 필요 없음에도 불구하고 SWDE에서 최고 성능을 기록하며, 반구조화된 데이터에서 완전 자동 추출의 실현 가능성을 입증했다.