[논문 리뷰] Reuse and Adaptation for Entity Resolution through Transfer Learning

Saravanan Thirumuruganathan, Shameem Ahamed Puthiya Parambath외 3명|arXiv (Cornell University)|2018. 09. 28.

Data Quality and Management참고 문헌 43인용 수 21

한 줄 요약

이 논문은 라벨이 부족하거나 없을 경우에도 관련된 소스 데이터셋 $D_S$ 에서 재사용하고 적응시킨 라벨이 부여된 학습 데이터를 활용해 타겟 데이터셋 $D_T$ 에서 고성능 분류기를 훈련할 수 있는 전이 학습 프레임워크를 제안한다. 분산 표현을 활용해 특성 공간을 정렬하고, 다섯 가지 시나리오별로 설계된 알고리즘을 통해 성능 향상을 이룩하였으며, 특히 저자료 환경에서 뚜렷한 성능 향상을 보이며 12개의 다양한 데이터셋에서 기준 방법보다 뛰어난 F-측도를 달성한다.

ABSTRACT

Entity resolution (ER) is one of the fundamental problems in data integration, where machine learning (ML) based classifiers often provide the state-of-the-art results. Considerable human effort goes into feature engineering and training data creation. In this paper, we investigate a new problem: Given a dataset D_T for ER with limited or no training data, is it possible to train a good ML classifier on D_T by reusing and adapting the training data of dataset D_S from same or related domain? Our major contributions include (1) a distributed representation based approach to encode each tuple from diverse datasets into a standard feature space; (2) identification of common scenarios where the reuse of training data can be beneficial; and (3) five algorithms for handling each of the aforementioned scenarios. We have performed comprehensive experiments on 12 datasets from 5 different domains (publications, movies, songs, restaurants, and books). Our experiments show that our algorithms provide significant benefits such as providing superior performance for a fixed training data size.

연구 동기 및 목표

• 기계 학습 기반 엔티티 해석(ER)에서 특성 공학 및 라벨링의 높은 인간적 비용 문제를 해결하기 위해 관련 데이터셋에서 라벨이 부여된 데이터를 재사용한다.
• 소스 데이터셋과 타겟 데이터셋 간의 스키마, 데이터 분포 또는 중복 비율의 차이로 인해 발생하는 난이도를 초래하는 단순한 전이 학습의 한계를 극복한다.
• 관련된 소스 데이터셋 $D_S$ 에서 지식을 전이함으로써 라벨이 없는 경우나 최소한의 라벨이 있는 경우에도 효과적인 ER을 가능하게 한다.
• 기존 ER 파이프라인에 큰 아키텍처 변경 없이도 원활하게 통합될 수 있도록 확장 가능하고 모듈러한 프레임워크를 설계한다.
• 히우리스틱 기반의 관련 소스 데이터셋 선택 및 적응형 훈련 전략을 통해 부정적 전이의 위험을 식별하고 완화한다.

제안 방법

• 다양한 데이터셋의 튜플을 분산 표현(예: 워드 임베딩 등)을 사용해 표현하여 공통의 표준 특성 공간으로 매핑한다.
• ER을 위한 전이 학습 문제를 세 가지 핵심 분포 이동 문제로 정식화한다: 사전 확률 이동, 공변수 이동, 클래스 조건부 분포 이동.
• 네 가지 일반적인 ER 시나리오에 맞춘 다섯 가지 별도의 알고리즘을 제안한다: (1) $D_T$ 에서 저자료 또는 라벨이 없는 경우, (2) 중복 비율이 맞지 않는 경우, (3) 다른 특성 분포를 가진 경우, (4) 다중 소스 전이의 경우.
• 사전 확률 이동을 보정하고 도메인 간 모델 캘리브레이션을 향상시키기 위해 인스턴스 가중치 및 재가중 기법을 적용한다.
• Fellegi-Sunter 기반의 확률적 프레임워크를 사용해 $P(y|X)$ 를 모델링하고, $D_S$ 가 $D_T$ 와 약간만 관련되어 있어도 전이가 가능하도록 한다.
• 부정적 전이의 위험을 줄이기 위해 가장 유망한 소스 데이터셋을 식별하는 히우리스틱 선택 전략을 통합한다.

실험 결과

연구 질문

• RQ1 관련된 소스 데이터셋 $D_S$ 에서 라벨가공된 데이터를 재사용함으로써 타겟 데이터셋 $D_T$ 에서 최소한의 라벨 데이터로도 전이 학습이 엔티티 해석 성능을 효과적으로 향상시킬 수 있는가?
• RQ2 다른 스키마와 어휘를 가진 이질적인 데이터셋을 동일한 특성 공간으로 정렬하기 위해 분산 표현을 어떻게 활용할 수 있는가?
• RQ3 ER에서 전이를 방해하는 주요 분포 이동(예: 사전 확률, 공변수, 클래스 조건부)은 무엇이며, 이를 어떻게 완화할 수 있는가?
• RQ4 어떤 상황에서 전이 학습이 측정 가능한 성능 향상을 가져오며, 어떤 경우에는 부정적 전이로 이어지는가?
• RQ5 다중 소스 전이 학습은 단일 소스 적응을 초월해 성능 향상을 이끌 수 있으며, 가장 효과적인 소스는 어떻게 자동으로 선택할 수 있는가?

주요 결과

• 라벨이 제한적이거나 전혀 없는 $D_T$ 에서도 전이 학습이 엔티티 해석 성능을 크게 향상시키며, No Transfer 및 Naive Transfer와 같은 기준 방법보다 높은 F-측도를 달성한다.
• 제안된 인스턴스 가중치 알고리즘이 소규모 학습 데이터셋에서도 Naive Transfer를 능가하며, 데이터 크기가 증가할수록 성능 향상이 이루어지지만, 소스 데이터가 잘 맞지 않으면 성능 저하가 발생할 수 있다.
• 다중 소스 전이 학습은 단일 소스 전이보다 일관되게 성능 향상을 이끌어내며, 서로 다른 여러 관련 소스 데이터셋을 조합할 경우 尤히 효과적이다.
• 이 프레임워크는 $D_T$ 에 라벨 데이터가 전혀 없는 경우와 같은 이전에는 실현 가능하지 않았던 상황에서도 유사도 벡터를 활용해 효과적인 ER을 가능하게 한다.
• 부정적 전이는 드물게 발생하지만, 제안된 히우리스틱 소스 선택 전략을 통해 가장 관련성 있고 해로운 영향이 적은 소스 데이터셋을 식별함으로써 이를 완화할 수 있다.
• Fellegi-Sunter 기반의 수식화 덕분에 소스 데이터셋과 타겟 데이터셋 간의 스키마나 어휘의 차이가 있어도, 기저의 유사도 패턴이 일관될 경우 전이가 가능하다.