[論文レビュー] RPT: Relational Pre-trained Transformer Is Almost All You Need towards Democratizing Data Preparation

Nan Tang, Ju Fan+6 more|arXiv (Cornell University)|Dec 4, 2020

Data Quality and Management参考文献 78被引用数 8

ひとこと要約

RPTは、関係的データのトランスフォーマー型事前学習モデルであり、双方向エンコーダ（BERTに類似）と自己回帰的デコーダ（GPTに類似）を備えた自己符号化器を用いて、ラベルなしの生データの関係的タプルを事前学習することで、データクリーニング、スキーママッチング、エンティティ解決、情報抽出などのデータ準備タスクにおけるゼロショットおよびフェイントショット学習を可能にする。1,000個以上のラベル付き例を使用した微調整モデルと同等の最先端性能を達成しており、フェイントショット設定下でもラベルなしの状態でも有効である。

ABSTRACT

Can AI help automate human-easy but computer-hard data preparation tasks that burden data scientists, practitioners, and crowd workers? We answer this question by presenting RPT, a denoising auto-encoder for tuple-to-X models (X could be tuple, token, label, JSON, and so on). RPT is pre-trained for a tuple-to-tuple model by corrupting the input tuple and then learning a model to reconstruct the original tuple. It adopts a Transformer-based neural translation architecture that consists of a bidirectional encoder (similar to BERT) and a left-to-right autoregressive decoder (similar to GPT), leading to a generalization of both BERT and GPT. The pre-trained RPT can already support several common data preparation tasks such as data cleaning, auto-completion and schema matching. Better still, RPT can be fine-tuned on a wide range of data preparation tasks, such as value normalization, data transformation, data annotation, etc. To complement RPT, we also discuss several appealing techniques such as collaborative training and few-shot learning for entity resolution, and few-shot learning and NLP question-answering for information extraction. In addition, we identify a series of research opportunities to advance the field of data preparation.

研究の動機と目的

• データクリーニング、スキーママッチング、エンティティ解決、情報抽出などのデータ準備タスクが人的に手間がかかり、時間がかかるという点を解決すること。
• 大規模なテーブルコーパスにさらされることで人間の知識獲得を模倣する、関係的データ向けの自己教師付き事前学習フレームワークの開発。
• 転移学習とフェイントショット微調整を可能にし、ラベル付き例が最小限の状態でも、新しいデータ準備タスクに素早く適応できるようにすること。
• 専門家によるラベル付けに依存しないようにし、非専門家がAIを活用して複雑なデータタスクを実行できるように、データ準備の民主化を図ること。
• 関係的データタスクと事前学習NLPモデル、およびAIとクラウドワーカーの協働の接続を同定・探求する新たな研究機会の発見。

提案手法

• RPTは、入力タプルを破損させ、モデルが元のタプルを再構築するように学習する自己符号化器の事前学習目的を採用している。
• トランスフォーマーに基づくアーキテクチャを採用し、双方向エンコーダ（BERTに類似）と左から右への自己回帰的デコーダ（GPTに類似）を組み合わせ、文脈的表現とシーケンス生成の両方を統合的に学習可能としている。
• 人為的ラベルなしで、多様なデータスキーマと値をカバーする大規模な関係的テーブルコーパス上で事前学習され、一般化可能なパターンを学習している。
• 下流タスクでは、標準的な教師あり微調整を用いてRPTを微調整し、値正規化、データ変換、アノテーションなどのタスクに適応可能としている。
• ラベルなしでエンティティマッチャーを学習するために、コラボラティブトレーニング（CT）を導入し、複数の予測におけるモデルの信頼性と一貫性を活用している。
• 情報抽出のためには、フェイントショット例から質問テンプレート（例：'[M] は何か？'）を生成し、事前学習済みQAモデルを用いてスパン抽出することで、NLP質問応答と統合している。

実験結果

リサーチクエスチョン

• RQ1 自己教師付き事前学習モデルは、人為的ラベルなしで、生のテーブルから多様なデータ準備タスクをサポートする一般化可能な関係的パターンを学習できるか？
• RQ2 事前学習済みRPTモデルは、データクリーニング、スキーママッチング、エンティティ解決タスクにおいて、どの程度ゼロショットまたはフェイントショット学習を実現できるか？
• RQ3 ラベルなしの学習例を必要としないエンティティマッチャーのコラボラティブトレーニングは、教師ありモデルと同等の性能を達成できるか？
• RQ4 事前学習モデルとプロンプト工学を用いて、情報抽出タスクをNLP質問応答ベンチマークに効果的にマッピングできるか？
• RQ5 RPTおよびその変種は、AIワーカーがクラウドワーカーを置き換えたり補完したりすることで、クラウドソーシングにおける人的労働を削減できるか？

主な発見

• コラボラティブトレーニング（CT）は、Abt-BuyデータセットでF1スコア0.72、Amazon-GoogleデータセットでF1スコア0.53を達成し、ZeroERを上回り、DeepMatcher（それぞれ7,689および9,167個のラベル付き例を必要）と同等の性能を示した。
• Abt-Buyデータセットでは、CTはDitto（F1: 0.71）と同等の性能を示したが、テストセットからのラベル付き例を一切使用しなかったため、優れたフェイントショット一般化性能を示した。
• 1,000個以上のラベル付き例で微調整されたRPTは、エンティティ解決タスクで最先端の性能を達成し、DeepMatcher や Ditto と同等またはそれを上回った。
• プロンプトテンプレートを用いてNLP質問応答と統合したRPTは、効果的な情報抽出を可能にし、既存のSOTA手法と同等の性能を示した。
• モデルは、複数のデータ準備タスクでゼロショットおよびフェイントショット能力を実現し、人的ラベル付きデータの必要性を顕著に削減した。
• 結果は、事前学習関係的モデルを用いたデータ準備の民主化が実現可能であることを裏付け、専門家労働やラベル付きデータセットへの依存を低減できる可能性を示した。