[논문 리뷰] A Pre-trained Data Deduplication Model based on Active Learning

Shi, Haochen, Xinyao Liu외 5명|arXiv (Cornell University)|2023. 07. 31.

Data Quality and Management인용 수 4

한 줄 요약

이 논문은 활성 학습과 R-Drop 데이터 증강을 활용하여 의미 수준의 중복 검출을 향상시키는 사전 훈련된 데이터 중복 제거 모델(PDDM-AL)을 제안한다. 미세조정된 트랜스포머 기반으로, 불확실한 샘플을 선택하여 레이블링 비용을 줄이며, 기준 데이터셋에서 최신 기술(SOTA) 대비 28% 높은 재현율을 달성한다.

ABSTRACT

In the era of big data, the issue of data quality has become increasingly prominent. One of the main challenges is the problem of duplicate data, which can arise from repeated entry or the merging of multiple data sources. These "dirty data" problems can significantly limit the effective application of big data. To address the issue of data deduplication, we propose a pre-trained deduplication model based on active learning, which is the first work that utilizes active learning to address the problem of deduplication at the semantic level. The model is built on a pre-trained Transformer and fine-tuned to solve the deduplication problem as a sequence to classification task, which firstly integrate the transformer with active learning into an end-to-end architecture to select the most valuable data for deduplication model training, and also firstly employ the R-Drop method to perform data augmentation on each round of labeled data, which can reduce the cost of manual labeling and improve the model's performance. Experimental results demonstrate that our proposed model outperforms previous state-of-the-art (SOTA) for deduplicated data identification, achieving up to a 28% improvement in Recall score on benchmark datasets.

연구 동기 및 목표

• 문자적 유사성만으로는 진짜 중복을 포착하지 못하는 대규모 데이터 환경에서 의미 수준의 데이터 중복 제거 과제를 해결하기 위해.
• 중복 제거를 위한 딥러닝 모델 훈련에 필요한 수동 레이블링의 높은 비용을 줄이기 위해 활성 학습을 통합함으로써.
• 제한된 레이블된 데이터에서의 훈련을 안정화시키기 위해 R-Drop 데이터 증강을 사용하여 모델의 강인성과 성능을 향상시키기 위해.
• 사전 훈련된 트랜스포머, 활성 학습, 데이터 증강을 통합한 새로운 종단간 프레임워크를 구축하기 위해.

제안 방법

• 중복 제거를 문장에서 클래스로의 분류 작업으로 간주하도록 사전 훈련된 트랜스포머 모델을 미세조정하여, 데이터 쌍에 대한 맥락적이고 의미적인 이해를 가능하게 한다.
• 불확실성 샘플링을 활용한 활성 학습을 적용하여 반복적으로 인간 레이블링을 위한 가장 정보적인 미레이블링 샘플을 선택함으로써 레이블링 노력의 최소화를 도모한다.
• 각 활성 학습 라운드 동안 R-Drop을 통합하여, 증강된 데이터에 대해 예측의 일관성을 유도함으로써 모델의 정규화 및 일반화 능력을 향상시킨다.
• 핵심 속성(예: 책 판본 등)을 표시하여 도메인 특화 지식을 통합함으로써 중요 의미 특징에 대한 주의를 향상시킨다.
• 선택기-학습기 루프를 활용한다: 모델이 불확실한 샘플을 선택하고 전문가가 이를 레이블링하며, 반복적이고 적응적인 방식으로 모델을 재훈련한다.
• 쌍으로 이루어진 레코드를 인코딩하기 위해 듀얼 브랜치 아키텍처를 사용하고, 유사도 점수를 계산하여 중복 분류를 수행한다.

실험 결과

연구 질문

• RQ1 활성 학습이 고성능 데이터 중복 제거 모델 훈련을 위해 필요한 레이블링 샘플 수를 크게 줄일 수 있는가?
• RQ2 의미 있는 데이터 선택에 있어 불확실성 기반 샘플링이 무작위 샘플링보다 어떻게 성능을 높이는가?
• RQ3 제한된 레이블된 데이터에서 R-Drop이 모델의 강인성과 성능을 얼마나 향상시키는가?
• RQ4 사전 훈련된 트랜스포머 모델이 구조화된 데이터에서 의미 관계를 효과적으로 포착할 수 있는가?
• RQ5 도메인 특화 속성 마킹을 통합함으로써 모델의 의미 중복 검출 능력이 향상되는가?

주요 결과

• 불확실성 기반 활성 학습 전략은 기준 데이터셋에서 최신 기술(SOTA) 대비 28% 높은 재현율 점수를 달성했다.
• MusicBrainz-20-A01 데이터셋에서 불확실성 샘플링을 사용해 5,000개의 레이블링 쌍을 처리한 후 재현율 0.992, F1 0.974를 기록했다.
• 세 번의 활성 학습 라운드 후 GeographicSettlements 데이터셋에서 불확실성 선택 전략이 랜덤 선택 전략보다 F1 점수 3% 높게 기록했다.
• R-Drop는 모델의 안정성과 일반화 능력을 향상시켜, 노이즈가 있거나 모호한 데이터에서도 일관된 성능 향상을 이끌어냈다.
• 도메인 인식 속성 마킹 통합으로 책 판본과 같은 핵심 의미 특징에 대한 모델의 집중도가 향상되어 검출 정확도가 향상되었다.
• 사전 훈련된 모델, 활성 학습, R-Drop를 통합한 종단간 프레임워크는 모든 세 가지 데이터셋에서 레이블링 비용을 줄이며 F1 및 재현율 점수를 우수하게 달성했다.