[論文レビュー] A Pre-trained Data Deduplication Model based on Active Learning

Shi, Haochen, Xinyao Liu+5 more|arXiv (Cornell University)|Jul 31, 2023

Data Quality and Management被引用数 4

ひとこと要約

本稿では、アクティブラーニングとR-Dropデータ拡張を活用して意味的重複検出を向上させる、事前学習済みデータ重複除去モデル（PDDM-AL）を提案する。微調整されたTransformerに基づく本モデルは、ラベル付けが必要な不確実なサンプルを選択することで、アノテーションコストを削減しつつ、ベンチマークデータセットにおいてSOTAを28%上回る再現率を達成する。

ABSTRACT

In the era of big data, the issue of data quality has become increasingly prominent. One of the main challenges is the problem of duplicate data, which can arise from repeated entry or the merging of multiple data sources. These "dirty data" problems can significantly limit the effective application of big data. To address the issue of data deduplication, we propose a pre-trained deduplication model based on active learning, which is the first work that utilizes active learning to address the problem of deduplication at the semantic level. The model is built on a pre-trained Transformer and fine-tuned to solve the deduplication problem as a sequence to classification task, which firstly integrate the transformer with active learning into an end-to-end architecture to select the most valuable data for deduplication model training, and also firstly employ the R-Drop method to perform data augmentation on each round of labeled data, which can reduce the cost of manual labeling and improve the model's performance. Experimental results demonstrate that our proposed model outperforms previous state-of-the-art (SOTA) for deduplicated data identification, achieving up to a 28% improvement in Recall score on benchmark datasets.

研究の動機と目的

• 構文的類似性では真の重複を捉えきれないビッグデータ環境における意味的レベルのデータ重複除去の課題に対処すること。
• 重複除去のためのディープラーニングモデルを学習する際の手作業ラベリングの高コストを、アクティブラーニングの統合によって低減すること。
• 限られたラベル付きデータ上で安定した学習を実現するため、R-Dropデータ拡張を用いてモデルのロバスト性と性能を向上させること。
• 事前学習されたTransformer、アクティブラーニング、データ拡張を組み合わせた、新規のエンドツーエンドフレームワークを構築すること。

提案手法

• 重複除去をシーケンスから分類へのタスクとして扱えるように、事前学習済みTransformerモデルを微調整し、データペアの文脈的・意味的理解を可能にする。
• 不確実性サンプリングを用いたアクティブラーニングを適用し、反復的に人間によるラベル付けに適した情報量の多い未ラベル付きサンプルを選択することで、ラベル付けの負荷を最小限に抑える。
• 各アクティブラーニングラウンドにおいてR-Dropを統合し、データ拡張後の予測の一貫性を促進することで、モデルの正則化と一般化性能の向上を図る。
• キーパラメータ（例：書籍の版）をマークすることでドメイン固有の知識を注入し、重要な意味的特徴への注目を高める。
• セレクタ・ラーナーループを採用：モデルが不確実なサンプルを選択し、専門家がそれらをラベル付けし、モデルを反復的・適応的に再訓練する。
• ペアド記録を符号化するデュアルブランチアーキテクチャを採用し、類似度スコアを計算して重複分類を実行する。

実験結果

リサーチクエスチョン

• RQ1 アクティブラーニングは、高性能なデータ重複除去モデルを学習するために必要なラベル付きサンプル数を顕著に削減できるか？
• RQ2 不確実性ベースのサンプリングは、ランダムサンプリングに比べて、重複検出のための情報量の多いデータを選択する上で優れているか？
• RQ3 限られたラベル付きデータ下で、R-Dropはモデルのロバスト性と性能をどの程度向上させるか？
• RQ4 事前学習済みTransformerモデルは、構造化されたデータにおける意味的関係を効果的に捉えることができるか？
• RQ5 ドメイン固有の属性マーカーの統合により、モデルの意味的重複検出能力が向上するか？

主な発見

• 不確実性ベースのアクティブラーニング戦略は、ベンチマークデータセットにおいてSOTAモデルを28%上回る再現率スコアを達成した。
• MusicBrainz-20-A01データセットでは、不確実性サンプリングを用いて5,000件のラベル付きペアを処理した後、再現率0.992、F1スコア0.974を達成した。
• 3回のアクティブラーニングラウンド後、GeographicSettlementsデータセットにおいて不確実性選択戦略がランダム選択を3%上回るF1スコアを達成した。
• R-Dropはモデルの安定性と一般化性能を向上させ、ノイズや曖昧なデータが存在する状況でも一貫した性能向上を実現した。
• ドメインに適した属性マーキングの統合により、書籍の版など重要な意味的特徴への注目が高まり、検出精度が向上した。
• 事前学習モデル、アクティブラーニング、R-Dropを統合したエンドツーエンドフレームワークは、ラベル付けコストを削減しながら、3つのデータセットすべてで優れたF1スコアと再現率を達成した。