[論文レビュー] Semantic Annotation for Tabular Data

Udayan Khurana, Sainyam Galhotra|arXiv (Cornell University)|Dec 15, 2020

Time Series Analysis and Forecasting参考文献 29被引用数 7

ひとこと要約

本稿では、$C^{2}$ を提案する。$C^{2}$ は、オープンウェブテーブルおよび知識グラフ（例：DBPedia、Wikidata）のアンサンブルを用いた最尤推定を用いて、スケーラブルで頑健な表形式データの意味的アノテーションを実現するカラム・ツー・コンセプトマッパーである。先行手法に比べて、特に数値型およびレアタイプに対して優れた性能を示し、9つのデータセット全体で62.9%のトップ1精度を達成。Sherlock や SATO、Colnet より顕著な向上を示した。

ABSTRACT

Detecting semantic concept of columns in tabular data is of particular interest to many applications ranging from data integration, cleaning, search to feature engineering and model building in machine learning. Recently, several works have proposed supervised learning-based or heuristic pattern-based approaches to semantic type annotation. Both have shortcomings that prevent them from generalizing over a large number of concepts or examples. Many neural network based methods also present scalability issues. Additionally, none of the known methods works well for numerical data. We propose $C^2$, a column to concept mapper that is based on a maximum likelihood estimation approach through ensembles. It is able to effectively utilize vast amounts of, albeit somewhat noisy, openly available table corpora in addition to two popular knowledge graphs to perform effective and efficient concept prediction for structured data. We demonstrate the effectiveness of $C^2$ over available techniques on 9 datasets, the most comprehensive comparison on this topic so far.

研究の動機と目的

• 表形式カラムの意味的タイプアノテーションにおける、従来のルールベースおよび教師あり学習手法の一般化の欠如に対処すること。
• 数千のコンセプトを含む多クラス分類において、数値データ、希少な意味的タイプ、スケーラビリティの制限を克服すること。
• ゴールドスタンダードのトレーニングデータやコンセプトごとの分類器を必要とせず、大規模でノイズの多いオープンデータソース（ウェブテーブル、知識グラフ）を活用すること。
• 従来のディープラーニングモデルが性能を発揮できない低リソースおよび数値カラムの性能向上を図ること。
• 意味的タイプの数が数千に達する状況でも、高い精度を維持できる手法の開発

提案手法

• オープンウェブテーブルおよびキュレート済みの知識グラフ（DBPedia、Wikidata）からの複数のソースからの証拠を統合するために、最尤推定を採用する。
• コンセプト間での信念共有を用いて、信頼度スコアを伝搬させ、とくに希少または曖昧なタイプの予測の頑健性を向上させる。
• 隣接するカラム間の共起パターンを用いて、不整合またはノイズの多い予測をフィルタリングするため、コンセプトペアおよびタプルの検証を実施する。
• 多様なデータソースからの予測を集約するアンサンブルフレームワークを設計し、ノイズを統計的モデリングによって管理可能なものとみなす。
• コンセプトごとの分類器のトレーニングを回避することで推論効率を最適化し、大規模データセットでも高速な予測を可能にする。
• 名前エンティティマッチングに依存せず、値の分布やパターン（例：人口、面積）をモデル化することで、数値カラムを処理する

実験結果

リサーチクエスチョン

• RQ1 多様でノイズの多いオープンデータソースを用いた最尤推定アプローチが、教師ありおよびヒューリスティック手法を上回る意味的タイプアノテーション性能を達成できるか？
• RQ2 アンサンブルフレームワークは、従来のモデルが失敗する数値型および希少な意味的タイプの処理において、どの程度効果的か？
• RQ3 信念共有およびコンセプトペア／タプルの検証は、予測精度と頑健性をどの程度向上させるか？
• RQ4 個々のタイプのトレーニングデータや分類器を必要とせず、数千の意味的タイプにスケーリング可能か？
• RQ5 数値カラムを含む多様なデータセットにおいて、$C^{2}$ の性能は Sherlock や SATO、Colnet といった最先端モデルと比べてどの程度か？

主な発見

• $C^{2}$ は9つのデータセット全体で62.9%のトップ1精度を達成し、同じベンチマークでSherlock（26.6%）やSATO（26.0%）を顕著に上回った。
• 数値カラムに限定して、$C^{2}$ は41.2%のトップ1精度を達成し、従来のモデルが苦戦する分野での有効性を示した。
• 信念共有を無効化した場合、$C^{2}$ のトップ1精度は51.0%に低下し、性能向上におけるその重要性が明確になった。
• コンセプトペアおよびタプルの検証を無効化すると、トップ1精度は60.6%に低下し、ノイズフィルタリングと精度向上への貢献が確認された。
• 4つの小さなデータセットでは、$C^{2}$ は60.0%のトップ1精度を達成したのに対し、Colnet は13.9%であった。Colnet は推論時間に最大12時間を要したが、$C^{2}$ は数分で完了した。
• 本手法は高い効率性を維持しており、SATO や Sherlock と同等の推論時間であり、Colnet や HNN よりも顕著に高速であった。