[논문 리뷰] Web Table Extraction, Retrieval and Augmentation: A Survey

Shuo Zhang, Krisztian Balog|arXiv (Cornell University)|2020. 02. 01.

Data Quality and Management참고 문헌 82인용 수 26

한 줄 요약

이 종합 검토는 웹 테이블 정보 접근에 관한 20년에 걸친 포괄적인 검토를 제공하며, 분류, 해석, 검색, 질의 응답, 지식 기반 증강, 테이블 증강의 여섯 가지 핵심 작업으로 분야를 정리한다. 이 리뷰는 유명한 접근 방식을 통합하고 핵심 자원을 특정하며, 작업 간 상호의존성을 부각하여 지식 탐색 및 인공지능 시스템에서의 웹 테이블 이해와 활용을 향상시키기 위한 기초 참고 자료를 제공한다.

ABSTRACT

Tables are a powerful and popular tool for organizing and manipulating data. A vast number of tables can be found on the Web, which represents a valuable knowledge resource. The objective of this survey is to synthesize and present two decades of research on web tables. In particular, we organize existing literature into six main categories of information access tasks: table extraction, table interpretation, table search, question answering, knowledge base augmentation, and table augmentation. For each of these tasks, we identify and describe seminal approaches, present relevant resources, and point out interdependencies among the different tasks.

연구 동기 및 목표

• 웹 테이블에 관한 20년에 걸친 연구를 종합하고 일관된 프레임워크로 정리하여 여섯 가지 핵심 정보 접근 작업으로 구성한다.
• 각 작업 유형에서 유명한 접근 방식, 핵심 데이터셋, 기술적 혁신을 식별하고 기술한다.
• 테이블 추출, 해석, 증강 간의 상호의존성을 명확히 하여 보다 우수한 시스템 설계를 가능하게 한다.
• 웹 테이블 처리 분야에서 해결되지 않은 과제와 향후 연구 방향을 부각한다. 특히 쿼리 의도 모델링과 이질적인 테이블 형식 처리에 중점을 둔다.
• 지식 기반 구축, 자연어 처리, 정보 검색 분야의 연구자 및 전문가를 위한 기초 참고 자료로 기능한다.

제안 방법

• 웹 테이블 연구를 여섯 가지 주요 작업으로 분류한다: 추출, 해석, 검색, 질의 응답, 지식 기반 증강, 테이블 증강.
• 각 작업에 대해 유명한 방법을 검토하며, 테이블 검출, 스키마 연결, 의미 분석에 대한 규칙 기반, 기계학습 기반, 딥러닝 접근 방식을 포함한다.
• 키워드 기반 쿼리 또는 테이블 기반 쿼리를 사용한 테이블 검색 기법을 분석하며, 페이지 컨텍스트와 테이블 구조를 활용해 순위를 매긴다.
• 관계형 테이블에서의 자연어 파싱과 사실 추출에 중점을 두어 테이블 기반 질의 응답 방법을 검토한다.
• 테이블 데이터를 활용한 지식 기반 증강 접근 방식을 탐색하며, 엔티티 연결 및 비정형 테이블에서의 관계 탐지 기법을 포함한다.
• 외부 자료원(지식 기반, 웹 페이지 등)을 통해 테이블을 확장하는 테이블 증강 기법을 검토하며, 충돌 탐지 및 해결 전략을 수반한다.

실험 결과

연구 질문

• RQ1 비정형 웹 페이지에서 웹 테이블을 추출하고 구조화하는 데 있어 핵심 과제와 연구 추세는 무엇인가?
• RQ2 웹 테이블 컬럼 및 셀의 의미를 외부 지식 소스에 정확하게 연결하기 위해선 어떤 방법이 필요한가?
• RQ3 키워드 기반 또는 테이블 기반 쿼리에 대해 관련성이 높은 테이블을 효과적으로 검색하는 데 가장 효과적인 방법은 무엇인가?
• RQ4 웹 테이블이 질의 응답에서 텍스트 기반 지식 소스보다 우월한 상황는 언제이며, 그 제한 사항은 무엇인가?
• RQ5 엔티티나 관계가 기존 지식 기반(KB)에 이미 존재하지 않을 경우, 웹 테이블을 체계적으로 지식 기반에 증강하는 방법은 무엇인가?

주요 결과

• 관계형 테이블은 구조적이고 속성 기반의 형식을 지녀 지식 탐색에 가장 가치가 있지만, 그 의미는 종종 암묵적이며 이해가 필요하다.
• 테이블 검색 시스템은 일반적으로 클래스-속성 쿼리 패턴을 가정하여 관련성이 높은 관계형 테이블에 국한되며, 다양한 쿼리 의도에 대한 커버리지가 떨어진다.
• 테이블 기반 질의 응답은 커버리지가 낮지만, 정확하고 사실 기반의 데이터를 포함할 경우 텍스트 기반 QA와 보완적으로 기능할 수 있다.
• 기존의 지식 기반 증강 방법은 종종 지식 기반 외부의 엔티티나 속성(예: 위키백과 테이블 내 연결되지 않은 언급)을 간과하는 경향이 있다.
• 테이블 증강 기법은 새로운 행이나 열을 추가하는 데 효과적이지만, 이질적인 소스에서의 데이터 통합 및 충돌 해결에 어려움을 겪는다.
• 미래의 시스템은 더 나은 쿼리 의도 분류 및 적응형 요약 기법(배제 또는 개요 기반)이 필요하며, 이는 대규모 테이블의 검색 결과 사용성 향상에 기여한다.