[論文レビュー] PromptEM: Prompt-tuning for Low-resource Generalized Entity Matching

Pengfei Wang, Xiaocan Zeng+5 more|arXiv (Cornell University)|Jul 11, 2022

Data Quality and Management被引用数 5

ひとこと要約

PromptEM は、事前学習済み言語モデルにおける事前学習と微調整のギャップを埋めるために、一般化エンティティマッチング（GEM）をクローズ形式のタスクに再定式化する、低リソース向けの新規プロンプトチューニング手法である。不確実性を考慮した自己学習と動的データプリーニングを用いることで、最小限のラベル付きデータで最先端の性能を達成し、8つの実世界ベンチマークで既存手法を上回っている。

ABSTRACT

Entity Matching (EM), which aims to identify whether two entity records from two relational tables refer to the same real-world entity, is one of the fundamental problems in data management. Traditional EM assumes that two tables are homogeneous with the aligned schema, while it is common that entity records of different formats (e.g., relational, semi-structured, or textual types) involve in practical scenarios. It is not practical to unify their schemas due to the different formats. To support EM on format-different entity records, Generalized Entity Matching (GEM) has been proposed and gained much attention recently. To do GEM, existing methods typically perform in a supervised learning way, which relies on a large amount of high-quality labeled examples. However, the labeling process is extremely labor-intensive, and frustrates the use of GEM. Low-resource GEM, i.e., GEM that only requires a small number of labeled examples, becomes an urgent need. To this end, this paper, for the first time, focuses on the low-resource GEM and proposes a novel low-resource GEM method, termed as PromptEM. PromptEM has addressed three challenging issues (i.e., designing GEM-specific prompt-tuning, improving pseudo-labels quality, and running efficient self-training) in low-resource GEM. Extensive experimental results on eight real benchmarks demonstrate the superiority of PromptEM in terms of effectiveness and efficiency.

研究の動機と目的

• ラベル付きデータが乏しく、収集に費用がかかる低リソース一般化エンティティマッチング（GEM）の課題に対処すること。
• 事前学習済み言語モデル（PLM）における GEM の事前学習と微調整の目的のギャップを解消すること。
• ラベル付き例への依存度を低減するため、未ラベルデータからの仮ラベルを活用する効率的で効果的な自己学習フレームワークの開発。
• ゼロショットおよびフェイントショット一般化を向上させるために、GEMに特化したタスク固有のプロンプトテンプレートとラベル語を設計すること。
• スキーマの整合化なしに、異種のデータ形式（例：表形式、JSON、テキスト）間での効果的なマッチングを可能にすること。

提案手法

• GEM をクローズ形式のプロンプトチューニングタスクに再定式化し、モデルがプロンプトテンプレートに基づいてマスクされたラベル語（例：'same' または 'different'）を予測するようにする。
• GEMに特化したプロンプトテンプレート（例：'Are the two entities [[MASK]]?』）とラベル語セット（'same', 'different'）を設計し、事前学習の目的と整合させる。
• 教師モデルを用いて未ラベルデータに対して仮ラベルを生成する軽量な自己学習パイプラインを実装する。
• 不確実性を考慮した仮ラベル選択を適用し、信頼度の低い予測をフィルタリングすることで、仮ラベルデータの品質を向上させる。
• トレーニング中に低品質な仮ラベル付きサンプルを削除する動的データプリーニングを導入し、効率性とロバスト性を向上させる。
• 元のラベル付きデータと高信頼度の仮ラベル付きデータの組み合わせを用いて、学生モデルを微調整する。

実験結果

リサーチクエスチョン

• RQ1 プロンプトチューニングは、一般化エンティティマッチングにおける事前学習と微調整の目的ギャップを効果的に埋めることができるか？
• RQ2 最小限のラベル付きデータで、低リソース GEM 環境における自己学習をどのようにして効率的かつ効果的に実現できるか？
• RQ3 不確実性を考慮した仮ラベル選択は、低リソース条件下でのモデル一般化性能を向上させる上で果たす役割は何か？
• RQ4 軽量で動的なプリーニング戦略は、GEM の自己学習において計算コストを削減しながらも性能を維持できるか？
• RQ5 多様なデータ形式において、PromptEM は教師ありおよび教師なしベースラインと比較して、有効性とスケーラビリティの点で優れているか？

主な発見

• PromptEM は 8 つの実世界 GEM ベンチマークで最先端の性能を達成し、既存の教師ありおよび教師なし手法を上回っている。
• 不確実性を考慮した仮ラベル選択戦略は、平均で TPR 0.88 および TNR 0.99 を達成しており、高品質な仮ラベルであることが示された。
• 動的データプリーニングによりトレーニングコストとメモリ使用量が削減され、大規模データセットでも自己学習のスケーラビリティが確保された。
• PromptEM はラベル付きデータの必要量を著しく削減できており、数 hundred 個のラベル付き例でのみ強力な性能を発揮している。
• 関係的、準構造的、テキスト形式の異種データ形式において、優れたロバスト性と一般化性能を示した。
• TDmatch と比較して、SEMI-REL データセットにおいてトレーニング時間を 120 時間以上から 10 時間未塔に短縮し、メモリ使用量を 130 GB から 30 GB 未塔に削減した。