[논문 리뷰] Semantic Annotation for Tabular Data

Udayan Khurana, Sainyam Galhotra|arXiv (Cornell University)|2020. 12. 15.

Time Series Analysis and Forecasting참고 문헌 29인용 수 7

한 줄 요약

이 논문은 $C^{2}$를 제안하며, 이는 열에서 개념으로의 매핑을 위해 오픈 웹 테이블과 지식 그래프(예: DBPedia, Wikidata)의 앙상블에 기반한 최대우도 추정을 사용하여 테이블 데이터의 강건하고 확장 가능한 의미적 주석을 수행한다. 이는 이전의 방법들보다 우수하며, 특히 수치형 및 희귀 유형에서 뛰어난 성능을 보이며, 9개의 데이터셋에서 평균 62.9%의 top-1 정확도를 달성했으며, Sherlock, SATO, Colnet보다도 뚜렷한 성능 향상을 보였다.

ABSTRACT

Detecting semantic concept of columns in tabular data is of particular interest to many applications ranging from data integration, cleaning, search to feature engineering and model building in machine learning. Recently, several works have proposed supervised learning-based or heuristic pattern-based approaches to semantic type annotation. Both have shortcomings that prevent them from generalizing over a large number of concepts or examples. Many neural network based methods also present scalability issues. Additionally, none of the known methods works well for numerical data. We propose $C^2$, a column to concept mapper that is based on a maximum likelihood estimation approach through ensembles. It is able to effectively utilize vast amounts of, albeit somewhat noisy, openly available table corpora in addition to two popular knowledge graphs to perform effective and efficient concept prediction for structured data. We demonstrate the effectiveness of $C^2$ over available techniques on 9 datasets, the most comprehensive comparison on this topic so far.

연구 동기 및 목표

• 기존의 규칙 기반 및 지도 학습 방법이 테이블 열의 의미 유형 주석에 있어 일반화 부족 문제를 해결한다.
• 수천 개의 개념을 포함한 다중 클래스 분류에서 수치형 데이터, 희귀 의미 유형, 확장성 문제를 다루는 데 한계가 있는 점을 극복한다.
• 골드 표준 학습 데이터나 각 개념에 대한 분류기 없이도 대규모이고 노이즈가 많은 오픈 데이터 소스(웹 테이블, 지식 그래프)를 활용한다.
• 기존의 딥 러닝 모델이 성능을 발휘하지 못하는 저자원 및 수치형 열에서의 성능 향상을 도모한다.
• 수천 개의 의미 유형으로 증가하는 상황에서도 높은 정확도를 유지할 수 있는 방법을 개발한다.

제안 방법

• 오픈 웹 테이블과 정제된 지식 그래프(DBPedia, Wikidata)로부터의 다수의 소스에서의 증거를 통합하기 위해 최대우도 추정을 사용한다.
• 개념 간 신뢰도 공유를 통해 정확도를 높이고, 특히 희귀하거나 모호한 유형에서 예측의 강건성을 향상시킨다.
• 이웃하는 열 간의 공존 패턴을 활용하여 개념 쌍 및 튜플 검증을 통해 일관성 없거나 노이즈가 많은 예측을 걸러낸다.
• 다양한 데이터 소스에서의 예측을 집계하는 앙상블 프레임워크를 설계하며, 노이즈를 통계 모델링을 통해 다룰 수 있도록 한다.
• 각 개념 분류기 학습을 피함으로써 추론 효율성을 최적화하여, 대규모 데이터셋에서도 빠른 예측이 가능하도록 한다.
• 이름 엔티티 매칭에 의존하지 않고, 값의 분포와 패턴(예: 인구, 면적)을 모델링하여 수치형 열을 처리한다.

실험 결과

연구 질문

• RQ1 다양하고 노이즈가 많은 오픈 데이터 소스에 기반한 최대우도 추정 접근이 의미 유형 주석에서 지도 학습 및 히우리스틱 방법보다 우수한 성능을 낼 수 있는가?
• RQ2 앙상블 프레임워크는 기존 모델이 실패하는 수치형 및 희귀 의미 유형을 다룰 때 얼마나 효과적인가?
• RQ3 신뢰도 공유 및 개념 쌍/튜플 검증이 예측 정확도와 강건성 향상에 어느 정도 기여하는가?
• RQ4 각 유형의 학습 데이터나 분류기가 필요 없이도 수천 개의 의미 유형으로 확장 가능한가?
• RQ5 다양한 데이터셋, 특히 수치형 열을 포함한 데이터셋에서 $C^{2}$는 Sherlock, SATO, Colnet과 같은 최신 기술 수준의 모델보다 어떻게 성능을 냈는가?

주요 결과

• $C^{2}$는 9개의 데이터셋에서 평균 62.9%의 top-1 정확도를 달성했으며, 같은 벤치마크에서 Sherlock(26.6%)와 SATO(26.0%)보다 뚜렷한 성능 향상을 보였다.
• 수치형 열 전용으로는 $C^{2}$가 41.2%의 top-1 정확도를 달성하여, 이전 모델이 어려워하는 영역에서의 효과성을 입증했다.
• 신뢰도 공유를 비활성화할 경우 $C^{2}$의 top-1 정확도는 51.0%로 하락하여, 이 기능이 성능 향상에 핵심적인 역할을 한다는 것을 보여준다.
• 개념 쌍 및 튜플 검증을 비활성화할 경우 top-1 정확도는 60.6%로 떨어지며, 노이즈 필터링 및 정확도 향상에 기여한다는 점을 확인한다.
• 4개의 작은 데이터셋에서 $C^{2}$는 60.0%의 top-1 정확도를 기록했고, Colnet은 13.9%였으며, Colnet의 추론 시간은 최대 12시간이었지만 $C^{2}$는 분 단위로 빠르게 처리되었다.
• 이 방법은 높은 효율성을 유지하며, SATO와 Sherlock 수준의 추론 시간을 기록했고, Colnet 및 HNN보다는 훨씬 빠르게 동작한다.