[논문 리뷰] TabVec: Table Vectors for Classification of Web Tables

Majid Ghasemi-Gol, Pedro Szekely|arXiv (Cornell University)|2018. 02. 17.

Data Quality and Management참고 문헌 10인용 수 14

한 줄 요약

TabVec는 도메인 특화 단어 맥락 정의와 구조적 특징을 사용하여 웹 테이블을 벡터 공간에 임bedding하는 비지도 학습 방법으로, 최소한의 사용자 간섭으로 테이블을 유형(예: 관계형, 실체형, 행렬형, 목록형, 비데이터형)으로 정확하게 분류할 수 있다. 기존 최고 수준의 시스템 대비 F1 마이크로 스코어를 20퍼센트 이상 향상시키며, 기존 지식 기반 시스템이나 애너테이션 자료가 없는 저자원 도메인에서도 특히 유리하다.

ABSTRACT

There are hundreds of millions of tables in Web pages that contain useful information for many applications. Leveraging data within these tables is difficult because of the wide variety of structures, formats and data encoded in these tables. TabVec is an unsupervised method to embed tables into a vector space to support classification of tables into categories (entity, relational, matrix, list, and non-data) with minimal user intervention. TabVec deploys syntax and semantics of table cells, and embeds the structure of tables in a table vector space. This enables superior classification of tables even in the absence of domain annotations. Our evaluations in four real world domains show that TabVec improves classification accuracy by more than 20% compared to three state of the art systems, and that those systems require significant in domain training to achieve good results.

연구 동기 및 목표

• 도메인 특화 지식 기반 시스템이나 애너테이션된 학습 데이터가 없을 때 웹 테이블을 구조적 유형(예: 관계형, 행렬형, 목록형)으로 분류하는 과제를 해결하기 위해.
• 테이블 셀의 문맥적 및 의미적 특징과 그들의 구조적 레이아웃을 활용하여 의미 있는 테이블 벡터를 생성하는 비지도 학습 방법을 개발하기 위해.
• 전문 분야인 인신매매나 증권사기와 같은 분야에서 전문가 애너테이션이나 사전 지식 기반 시스템에 대한 의존도를 줄이기 위해.
• 사용자가 유사한 테이블 클러스터를 최소한의 노력으로 레이블링할 수 있도록 허용함으로써 확장 가능하고 상호작용 가능한 분류를 가능하게 하기 위해.

제안 방법

• 주변 텍스트, 셀 텍스트, 헤더 셀, 인접 셀의 네 가지 다른 정의를 사용하여 테이블 데이터에서 단어 벡터 공간 모델을 학습한다.
• 학습된 단어 벡터 공간을 사용하여 각 테이블 셀을 벡터로 표현함으로써 의미적 및 문법적 특징을 포착한다.
• 헤더나 인접 셀과 같은 구조적 요소를 강조하는 가중 평균을 사용하여 셀 벡터를 집계하여 테이블 벡터를 계산한다.
• 결과로 생성된 테이블 벡터를 사용하여 특정 도메인 내에서 구조적 유사성 기반으로 테이블을 클러스터링한다.
• 사용자가 클러스터를 레이블링하여 테이블 유형(예: 관계형, 실체형)을 할당함으로써 저자원, 상호작용 기반 분류를 가능하게 한다.
• 테이블 벡터를 분류 모델의 입력 특징으로 간주함으로써 비지도 클러스터링과 지도 미세조정을 모두 지원한다.

실험 결과

연구 질문

• RQ1 테이블 내 단어 맥락의 다양한 정의(예: 주변 텍스트, 인접 셀)가 학습된 단어 벡터 공간의 품질과 후속 테이블 분류 성능에 어떤 영향을 미치는가?
• RQ2 헤더나 레이아웃과 같은 구조적 특징을 인코딩한 테이블 벡터는 단순히 콘텐츠나 외부 지식 기반 시스템에 의존하는 방법보다 분류 정확도를 향상시키는가?
• RQ3 TabVec가 도메인 특화 애너테이션 자료가 없이도 높은 분류 성능을 달성할 수 있는 정도는 어느 정도인가? 특히 저자원 또는 이국적인 도메인에서의 성능에 초점한다.
• RQ4 TabVec의 성능은 DWTC, webcommons, TabNet과 같은 최고 수준의 시스템과 비교해 비지도 및 지도 설정 모두에서 어떻게 나타나는가?
• RQ5 테이블 벡터 공간을 효과적으로 사용하여 구조적 유형별로 테이블을 클러스터링할 수 있으며, 사용자가 최소한의 노력으로 이러한 클러스터를 레이블링하여 정확한 분류를 달성할 수 있는가?

주요 결과

• 도메인 애너테이션 자료가 없을 경우, TabVec는 네 개의 실제 도메인에서 세 개의 최고 수준 시스템에 비해 평균 F1 마이크로 스코어를 0.40 향상시켰다.
• 도메인 특화 학습 데이터가 없을 때, TabVec는 두 번째로 우수한 성능을 보인 DWTC를 모든 네 도메인에서 초월했다.
• 사용자 애너테이션의 필요성을 크게 줄였다: 낮은 수의 클러스터 레이블만으로도 높은 분류 정확도를 달성할 수 있었다.
• TabVec의 성능은 안정적이고 확장 가능했으며, 웹 컨몬 크롤 도메인에서 평균적으로 테이블당 약 1.5ms의 시간이 소요되어 테이블 벡터 계산이 매우 효율적이었다.
• 지도 미세조정을 적용했을 때, TabVec는 특징 기반 방법인 DWTC와 경쟁 가능한 성능을 보였지만, DWTC는 TabVec를 능가하기 위해 더 많은 애너테이션 데이터가 필요했다.
• 다양한 맥락 정의(예: 인접 셀, 헤더 셀)를 사용한 단어 벡터의 활용은 단일 정의를 사용하는 것보다 더 강력한 테이블 벡터 표현을 이끌어냈다.