[論文レビュー] Sherlock: A Deep Learning Approach to Semantic Data Type Detection

Madelon Hulsebos, Kevin Hu+6 more|arXiv (Cornell University)|May 25, 2019

Topic Modeling参考文献 27被引用数 12

ひとこと要約

Sherlock は、VizNet コーパスに由来する 686,765 件の実世界のデータカラムを用いて学習されたマルチインプットニューラルネットワークを用いた深層学習モデルであり、意味的データ型を検出する。サポート重み付き F1 スコア 0.89 を達成し、文字分布、単語埋め込み、パaragraph ベクトルを含む 1,588 種類の多様な特徴を活用することで、従来のルールベース手法や機械学習ベースラインを上回る性能を発揮する。

ABSTRACT

Correctly detecting the semantic type of data columns is crucial for data science tasks such as automated data cleaning, schema matching, and data discovery. Existing data preparation and analysis systems rely on dictionary lookups and regular expression matching to detect semantic types. However, these matching-based approaches often are not robust to dirty data and only detect a limited number of types. We introduce Sherlock, a multi-input deep neural network for detecting semantic types. We train Sherlock on $686,765$ data columns retrieved from the VizNet corpus by matching $78$ semantic types from DBpedia to column headers. We characterize each matched column with $1,588$ features describing the statistical properties, character distributions, word embeddings, and paragraph vectors of column values. Sherlock achieves a support-weighted F$_1$ score of $0.89$, exceeding that of machine learning baselines, dictionary and regular expression benchmarks, and the consensus of crowdsourced annotations.

研究の動機と目的

• 汚れたまたは非構造的なデータでしばしば失敗するルールベースおよび辞書ベース手法の限界を克服すること。
• 場所、日付、名前などの細粒度の意味的タイプの正確な検出を可能にすることで、データサイエンスワークフローを改善すること。
• 多様な実世界のデータセットに一般化可能なスケーラブルで頑健な意味的タイプ検出モデルを構築すること。
• 企業向けやドメイン固有のデータタイプにカスタマイズ可能な、公開可能でトレーニング可能なシステムを提供すること。

提案手法

• モデルは、データカラムから抽出された異種特徴を処理するマルチインプットディープニューラルネットワークアーキテクチャを採用する。
• 特徴には統計的性質（例：基数、一意性）、文字レベルの分布、単語埋め込み、パラグラフベクトルが含まれる。
• 意味的タイプは、カラムヘッダと 78 個の事前定義された意味的タイプとの完全一致を用いて DBpedia オントロジーへのマッピングから導出される。
• 学習データは、VizNet コーパスの 686,765 個のカラムから構成され、カラムヘッダが正例ラベルとして使用される。
• モデルはマルチクラス分類タスクとして学習され、欠損値やフォーマットの不一致といったデータ品質の問題に対しても頑健性を向上させるためにファインチューニングされる。
• Sherlock は即時利用可能な Python ライブラリとしてリリースされ、カスタムデータで再トレーニング可能なオープンソースのトレーニングスクリプトを含む。

実験結果

リサーチクエスチョン

• RQ1 深層学習モデルは、実世界の汚染されたデータにおいて、ルールベースおよび従来の機械学習手法を上回る性能を発揮できるか？
• RQ2 マルチインプットニューラルネットワークは、文字レベル、埋め込みベース、統計的など多様な特徴タイプの複雑なパターンを、意味的タイプ分類において効果的に捉えられるか？
• RQ3 洗練されたまたは合成されたデータセットと比較して、実世界のデータの大規模コーパスで学習させることで、一般化性能と頑健性がどの程度向上するか？
• RQ4 78 種類の意味的タイプをカバーする広範な範囲で高い性能を発揮しながらも、解釈可能で実用的であるか？

主な発見

• Sherlock はサポート重み付き F1 スコア 0.89 を達成し、ベースラインモデル、辞書照合、正規表現手法を著しく上回る。
• クラウドソーシングによるアノテーションのコンSENSUS をも上回る結果が得られ、意味的タイプ検出における高い信頼性と一貫性を示している。
• 単語埋め込み、文字分布、パラグラフベクトルを含む 1,588 種類の多様な特徴の活用により、ノイズが多いまたは破損したデータに対しても頑健な検出が可能である。
• ウェブスクレイピングされたテーブル、ビジュアライゼーションシステム、オープンデータポータルなど、多様なデータソースにわたって良好な一般化性能を示している。
• モデル、トレーニングスクリプト、データセットのオープンソース化により、今後の研究やドメイン固有のデータタイプに向けたカスタマイズが可能である。
• 本研究では、今後の方向性として、学習データの拡張、特徴セットの拡充、意味的タイプ検出のための共通ベンチマークの確立を同定している。