[논문 리뷰] DeepER -- Deep Entity Resolution

Muhammad Ebraheem, Saravanan Thirumuruganathan외 3명|arXiv (Cornell University)|2017. 10. 02.

Data Quality and Management참고 문헌 50인용 수 56

한 줄 요약

DeepER는 엔터티 해석을 위한 튜플의 분산 표현(DRs)을 도입하며, 단어 임베딩과 LSTM 기반 구성 능력을 사용하여 라벨링 데이터를 감소시키고, 효율성을 위해 LSH 기반 차단을 적용합니다. 벤치마크 및 다국어 데이터에서 경쟁력 있는 정확도를 보여줍니다.

ABSTRACT

Entity resolution (ER) is a key data integration problem. Despite the efforts in 70+ years in all aspects of ER, there is still a high demand for democratizing ER - humans are heavily involved in labeling data, performing feature engineering, tuning parameters, and defining blocking functions. With the recent advances in deep learning, in particular distributed representation of words (a.k.a. word embeddings), we present a novel ER system, called DeepER, that achieves good accuracy, high efficiency, as well as ease-of-use (i.e., much less human efforts). For accuracy, we use sophisticated composition methods, namely uni- and bi-directional recurrent neural networks (RNNs) with long short term memory (LSTM) hidden units, to convert each tuple to a distributed representation (i.e., a vector), which can in turn be used to effectively capture similarities between tuples. We consider both the case where pre-trained word embeddings are available as well the case where they are not; we present ways to learn and tune the distributed representations. For efficiency, we propose a locality sensitive hashing (LSH) based blocking approach that uses distributed representations of tuples; it takes all attributes of a tuple into consideration and produces much smaller blocks, compared with traditional methods that consider only a few attributes. For ease-of-use, DeepER requires much less human labeled data and does not need feature engineering, compared with traditional machine learning based approaches which require handcrafted features, and similarity functions along with their associated thresholds. We evaluate our algorithms on multiple datasets (including benchmarks, biomedical data, as well as multi-lingual data) and the extensive experimental results show that DeepER outperforms existing solutions.

연구 동기 및 목표

• 높은 정확도를 유지하면서 인간 라벨링과 특징 공학을 줄이면서 엔터티 해석을 수행한다.
• 광범위한 특징 공학 없이도 튜플 간의 구문적 유사성과 의미적 유사성 모두를 표현한다.
• 모든 속성에 걸친 비교를 효율적으로 제한하는 DR 기반 차단 방법을 제공한다.

제안 방법

• 튜플의 DR을 단어 임베딩의 평균으로 계산하거나 LSTM 유닛을 갖춘 일방향/양방향 LSTM을 사용한 구성으로 산출한다.
• 특정 ER 작업에 맞춰 DR를 조정하기 위해 엔드-to-end 모델을 학습시켜 정확도를 향상시킨다.
• 튜플 DR 간의 유사도 벡터를 분류기의 입력으로 사용해 매치/매치 아님 판단을 내린다.
• 모든 속성을 고려해 튜플의 DR을 사용하여 블록을 형성하는 LSH 기반 차단을 도입한다.
• 어휘 사전에 없는 단어(out-of-vocabulary)와 부분적 또는 최소한의 사전 커버리지가 있는 상황을 다루는 방법을 설명한다.
• 도메인 자원에 대한 미세조정(fine-tuning) 또는 레트로핏(retrofitting)을 통한 워드 임베딩 튜닝을 논의한다.

실험 결과

연구 질문

• RQ1 강력한 특징 공학 없이도 튜플의 DR이 구문적 유사성과 의미적 유사성 모두를 포착해 효과적인 ER을 가능하게 할까?
• RQ2 DRs와 LSH를 활용해 대용량 데이터에 확장 가능하도록 ER 차단을 어떻게 효율적으로 달성할 수 있을까?
• RQ3 다양한 데이터세트에서 어떤 전략(평균화 vs. LSTM 기반 구성)이 더 나은 ER 성능을 보여줄까?
• RQ4 도메인 특화 ER 작업에 맞춰 워드 임베딩을 어떻게 적응시키거나 튜닝할 수 있을까(전체/부분/최소 커버리지).

주요 결과

• DR 기반 튜플 표현은 광범위한 수동 특징 공학 없이도 ER에 효과적인 유사도 측정이 가능하게 한다.
• LSTM 기반 구성 DR은 단어 순서와 속성 간 상호작용이 중요한 데이터세트에서 이점을 제공할 수 있다.
• LSH 기반 차단은 DR들에 대해 모든 속성의 의미적 유사성을 활용하면서 비교를 크게 줄인다.
• 지도 학습을 통한 DR의 엔드투엔드 튜닝은 작업 특화 데이터에서 ER 정확도를 향상시킨다.
• 단어 어휘 레트로핏과 도메인 특화 임베딩 전략은 전체/부분/최소 커버리지 시나리오를 다루는 데 도움을 준다.
• 실험 결과 DeepER가 벤치마크, 생물의학, 다국어 데이터셋에서 최첨단 솔루션을 능가하는 것으로 나타났다.