[論文レビュー] Semantic Labeling Using a Deep Contextualized Language Model

Mohamed Trabelsi, Jin Cao+1 more|arXiv (Cornell University)|Oct 30, 2020

Data Quality and Management参考文献 43被引用数 8

ひとこと要約

本稿では、表内のカラム値とそれらの文脈的関係を同時にモデル化するため、BERTを用いて文脈に配慮した意味的ラベリング手法SeLaBを提案する。表を順序付き入力として扱い、予測済みのラベルを文脈として組み込むことで、実世界のデータセットにおいて最先端の性能を達成し、値のみに依存する手法を著しく上回り、ラベル予測の曖昧さを低減する。

ABSTRACT

Generating schema labels automatically for column values of data tables has many data science applications such as schema matching, and data discovery and linking. For example, automatically extracted tables with missing headers can be filled by the predicted schema labels which significantly minimizes human effort. Furthermore, the predicted labels can reduce the impact of inconsistent names across multiple data tables. Understanding the connection between column values and contextual information is an important yet neglected aspect as previously proposed methods treat each column independently. In this paper, we propose a context-aware semantic labeling method using both the column values and context. Our new method is based on a new setting for semantic labeling, where we sequentially predict labels for an input table with missing headers. We incorporate both the values and context of each data column using the pre-trained contextualized language model, BERT, that has achieved significant improvements in multiple natural language processing tasks. To our knowledge, we are the first to successfully apply BERT to solve the semantic labeling task. We evaluate our approach using two real-world datasets from different domains, and we demonstrate substantial improvements in terms of evaluation metrics over state-of-the-art feature-based methods.

研究の動機と目的

• 既存の意味的ラベリング手法がカラムを個別に扱い、カラム間の文脈的関係を無視するという限界を是正すること。
• 手動による特徴工学の必要性を排除することで、スキーマラベリングに要する人的作業を低減すること。
• 事前学習済み言語モデルを用いて、カラム値とテーブルレベルの文脈の両方を統合することで、ラベル予測の正確性を向上させること。
• 表現とスキーマラベルの予測を同時に学習できるエンドツーエンドで訓練可能なモデルを開発すること。
• 多様な実世界のデータセットを対象に評価し、異なるデータタイプやテーブル構造にわたり堅牢性を示すこと。

提案手法

• 各カラムのラベルを、同じテーブル内で事前に予測されたラベルの文脈の中で逐次的に予測するフレームワークを採用する。
• BERTを用いて、カラムの値と、他のカラム（すでに予測済みのラベルを含む）が提供する文脈をエンコードする。
• 手動による特徴工学を回避するため、文脈化された表現からスキーマラベルをエンドツーエンドで予測するようにモデルを訓練する。
• 入力表現は、カラム値と位置埋め込みを組み合わせており、訓練時にはラベルをマスクすることで欠損ヘッダーをシミュレートする。
• 推論時にはヘッダーの完全マスキングおよび部分的マスキングをサポートし、不完全な文脈でも堅牢な予測を可能にする。
• 事前学習済みの文脈的埋め込みを活用することで、カラム間の意味的関係を捉え、類似する値の曖昧さを低減する。

実験結果

リサーチクエスチョン

• RQ1 値のみに依存する手法と比較して、カラムの文脈を組み込むことで、意味的ラベル予測の正確性が著しく向上するか？
• RQ2 逐次的かつ文脈に配慮した予測メカニズムは、類似する値を持つカラムのラベリングにおける曖昧さをどのように低減するか？
• RQ3 BERTを用いたエンドツーエンド訓練は、従来の特徴ベースのアプローチに比べて、意味的ラベリングでどの程度優れているか？
• RQ4 ラベルごとの訓練サンプル数が、文脈に配慮したモデルの性能にどの程度影響を与えるか？
• RQ5 初期の予測から得られる文脈が、正解の文脈と同等に、後続のラベル予測に有効に機能するか？

主な発見

• SeLaBは、WikiTablesおよびLog tablesデータセットの両方で、最先端の特徴ベース手法に比べてトップ-1精度で顕著な向上を達成した。
• ヘッダーを100％マスクした状態でも優れた性能を示しており、予測された文脈が正解の文脈とほぼ同等に有効であることを示している。
• 文字列カラムは数値カラムよりも正確にラベリングされており、数値値は曖昧さが高く、予測誤差も大きくなる傾向にある。
• ラベルごとの訓練サンプル数が増えるほど性能が著しく向上し、特に20件を超えたあたりから顕著な改善が見られた。また、レアラベルに対しても高い精度を維持した。
• 隣接するカラムからの文脈的手がかりを活用することで、初期の誤予測（例：「ホームチーム」と「アウェイチーム」の区別）を効果的に是正できた。
• 局所的スムージング解析の結果、SeLaBはすべてのラベル頻度範囲で「値のみに依存するBERT」と比較して一貫して優れており、特に低頻度および中頻度ラベルで顕著な優位性を示した。