[論文レビュー] Evaluating approaches for supervised semantic labeling

Natalia Ruemmele, Yuriy Tyshetskiy+1 more|arXiv (Cornell University)|Jan 29, 2018

Data Quality and Management参考文献 6被引用数 13

ひとこと要約

本論文は、クラス不均衡と限られたラベル付きデータの問題に対処するため、多様な訓練インスタンスを生成するための新しいバギングベースのサンプリング技術を用いた教師あり意味ラベリングフレームワークを提案する。DINTモデル（手動で設計された特徴量を用いる）と、生の属性値を入力とする2つのディープラーニングモデル（CNNとMLP）を導入し、ベンチマークデータセットで80％を超える平均逆順位（MRR）を達成した。DINTモデルは、未知または未学習の意味ラベルを処理する際、最先端のDSLを上回る性能を示した。

ABSTRACT

Relational data sources are still one of the most popular ways to store enterprise or Web data, however, the issue with relational schema is the lack of a well-defined semantic description. A common ontology provides a way to represent the meaning of a relational schema and can facilitate the integration of heterogeneous data sources within a domain. Semantic labeling is achieved by mapping attributes from the data sources to the classes and properties in the ontology. We formulate this problem as a multi-class classification problem where previously labeled data sources are used to learn rules for labeling new data sources. The majority of existing approaches for semantic labeling have focused on data integration challenges such as naming conflicts and semantic heterogeneity. In addition, machine learning approaches typically have issues around class imbalance, lack of labeled instances and relative importance of attributes. To address these issues, we develop a new machine learning model with engineered features as well as two deep learning models which do not require extensive feature engineering. We evaluate our new approaches with the state-of-the-art.

研究の動機と目的

• 教師あり意味ラベリングにおけるクラス不均衡とラベル付き訓練データ不足の課題に対処すること。
• オントロジー要素にマッピングされない「不必要な」属性を同定・ラベリングできる堅牢なフレームワークを開発すること。
• 標準化されたベンチマーク上で、手動特徴量、ディープラーニング、アンサンブル手法の複数の機械学習アプローチを評価・比較すること。
• 多様な分野にわたる意味ラベリングシステムの公平な比較を可能にするオープンソースベンチマークを構築すること。
• 文字分布に基づく単純な特徴工学が、複雑なモデルと同等の性能を達成できることを示すこと。

提案手法

• 属性値をランダムに部分抽出することで複数の訓練インスタンスを生成するバギングベースのサンプリング戦略を提案し、訓練の多様性を向上させるとともに、少数派の意味ラベルのバランスを改善する。
• 名前類似度、値エントロピー、語彙的パターンといった手動で設計された意味特徴量を用いる多クラス分類器「DINTモデル」を導入する。
• パディングされた文字列シーケンスを入力とするCNNと、正規化された文字頻度を入力特徴量とするMLPの2つのディープラーニングモデルを設計する。
• オントロジーにマッピングされない属性を明示的にモデル化するための「未知」クラスを統合し、未学習または不適切な属性への耐性を向上させる。
• 5つの実世界のデータセット（多様な分野に跨る）を用いた標準化されたベンチマークを構築し、DINT、CNN、MLP、および最先端のDSLシステムを同一条件下で評価する。
• 予測された意味ラベルのランク付け性能を評価する主な指標として、平均逆順位（MRR）を採用する。

実験結果

リサーチクエスチョン

• RQ1 バギングベースのサンプリング技術は、教師あり意味ラベリングにおけるクラス不均衡とデータ不足を効果的に軽減できるか？
• RQ2 手動特徴量（DINT）とディープラーニングモデル（CNN、MLP）の間で、性能および特徴工学の要件においてどのように差が生じるか？
• RQ3 明示的に「未知」クラスを導入することで、限られたラベル付きデータから学習したモデルが、未マッピング属性に対しても高い性能を発揮できるか？
• RQ4 スケーマの複雑さやラベル分布の異なる多様な実世界データセットにおいて、異なるモデルの性能はどのように変動するか？
• RQ5 外部知識ベースを一切用いずに、属性値そのものだけが、正確な意味ラベリングにどの程度寄与するか？

主な発見

• 提案されたバギングサンプリング手法は、訓練の多様性を向上させるとともに、少数派の意味ラベルのバランスを改善することで、モデル性能を顕著に向上させる。
• 手動特徴量を用いたDINTモデルは、2つのベンチマークデータセットで80％を超える平均逆順位（MRR）を達成し、未知または未学習の属性を処理する際、最先端のDSLシステムを上回る性能を示した。
• ディープラーニングモデル（CNNとMLP）は、最小限の特徴工学で競争力のある性能を達成しており、特にCNNモデルは生の文字列シーケンスに依存している。
• 属性値の文字分布やエントロピーに基づく単純なモデルが強力な結果を示しており、属性値自体が意味ラベリングに非常に有用であることが示唆された。
• モデルの性能は、データソースのサイズとラベル分布に強く依存しており、不均衡または小規模なデータセットでは性能のばらつきが顕著に現れた。
• オープンソースベンチマークは公平な比較と拡張性を可能にし、今後の新しいモデルやデータセットの評価を支援する。