[논문 리뷰] Merging datasets through deep learning

Kavitha Srinivas, Abraham Gale외 1명|arXiv (Cornell University)|2018. 09. 05.

Face recognition and analysis참고 문헌 19인용 수 6

한 줄 요약

이 논문은 딥 러닝을 활용해 벡터 임베딩을 학습하여 의미적으로 동일한 실체 이름(예: 'Douglas Adams'와 'Adams, Douglas')을 벡터 공간 내에서 가까이 위치시키는 방식으로 데이터셋을 통합하는 방법을 제안한다. 근사 근접 이웃 색인과 새로운 하드 네거티브 트리플릿 마이닝 전략을 사용하여, 사람 데이터에 대해 정밀도@1이 81%이며 기업 데이터에 대해 75%를 기록했으며, 하드 네거티브가 지배하는 데이터셋에서 반경형 네거티브 마이닝보다 뚜렷하게 뛰어난 성능을 보였다.

ABSTRACT

Merging datasets is a key operation for data analytics. A frequent requirement for merging is joining across columns that have different surface forms for the same entity (e.g., the name of a person might be represented as "Douglas Adams" or "Adams, Douglas"). Similarly, ontology alignment can require recognizing distinct surface forms of the same entity, especially when ontologies are independently developed. However, data management systems are currently limited to performing merges based on string equality, or at best using string similarity. We propose an approach to performing merges based on deep learning models. Our approach depends on (a) creating a deep learning model that maps surface forms of an entity into a set of vectors such that alternate forms for the same entity are closest in vector space, (b) indexing these vectors using a nearest neighbors algorithm to find the forms that can be potentially joined together. To build these models, we had to adapt techniques from metric learning due to the characteristics of the data; specifically we describe novel sample selection techniques and loss functions that work for this problem. To evaluate our approach, we used Wikidata as ground truth and built models from datasets with approximately 1.1M people's names (200K identities) and 130K company names (70K identities). We developed models that allow for joins with precision@1 of .75-.81 and recall of .74-.81. We make the models available for aligning people or companies across multiple datasets.

연구 동기 및 목표

• 다양한 소스에서 동일한 실체가 다른 표면 형태(예: 이름, 기업명)로 표현되는 경우 데이터셋 통합 문제를 해결하기 위해.
• 데이터 관리 시스템에서 전통적인 문자열 등가성 또는 유사도 조인의 한계를 극복하기 위해.
• 학습된 벡터 임베딩을 사용하여 다양한 데이터셋 간 실체를 스케일러블하고 일반화 가능한 방식으로 조인하는 방법을 개발하기 위해.
• 딥 메트릭 러닝에서 하드 네거티브 트리플릿 마이닝과 반경형 네거티브 마이닝의 성능을 비교하여 이름 매칭 작업에 대한 효과를 평가하기 위해.
• 사전 훈련된 모델을 활용하여 얼굴과 같은 다른 실체 유형으로도 접근법의 이식 가능성을 입증하기 위해.

제안 방법

• 동일 실체의 형태가 가까이, 다른 실체의 형태가 멀리 떨어져 있는 벡터 공간에 실체 이름을 임bedding하기 위해 시아모이 트리플릿 네트워크를 훈련한다.
• 조인 작업 중 후보 매칭을 효율적으로 검색하기 위해 근사 근접 이웃(ANN) 색인을 사용한다.
• 하드 네거티브를 가장 가까운 이웃 집합에서 선택하는 새로운 트리플릿 마이닝 전략을 구현하여 하드 네거티브가 지배하는 데이터셋에서의 훈련을 향상시킨다.
• 임베딩 품질을 최적화하기 위해 수정된 트리플릿 손실을 포함한 여러 손실 함수를 적응 및 비교한다.
• 사람과 기업명의 훈련 및 평가 데이터셋을 구성하기 위해 Wikidata를 기준으로 삼는다.
• 사전 훈련된 임베딩을 활용하여 훈련된 모델을 얼굴 인식 데이터셋에 적용하여 일반화 성능을 평가한다.

실험 결과

연구 질문

• RQ1 하드 네거티브가 지배하는 이름 매칭 작업에서, 하드 네거티브 마이닝을 통한 딥 메트릭 러닝이 반경형 네거티브 마이닝보다 성능이 뛰어나게 되는가?
• RQ2 제안된 벡터 임베딩 접근법이 다양한 실체 유형 간 데이터셋 통합에서 높은 정밀도와 재현율을 달성하는 데 얼마나 효과적인가?
• RQ3 사람과 같은 특정 실체 유형에서 훈련된 모델이 다른 유형(예: 기업, 얼굴)으로 일반화되는 정도는 어느 정도인가?
• RQ4 근사 근접 이웃 색인을 사용하면 대규모 데이터 통합에서 스케일러블하고 효율적인 조인을 가능하게 하는가?
• RQ5 다양한 손실 함수가 실체 이름 매칭을 위한 임베딩 모델 성능에 어떤 영향을 미치는가?

주요 결과

• 제안된 하드 네거티브 마이닝 전략은 사람 데이터셋에서 정밀도@1이 81%이며 재현율도 81%를 기록했으며, 반경형 네거티브 마이닝(정밀도@1: 61%, 재현율: 63%)보다 뚜렷하게 뛰어난 성능을 보였다.
• 기업명에 대해서는 정밀도@1이 75%이며 재현율이 74%를 기록하여 덜 복잡한 데이터셋에서도 뛰어난 성능을 보였다.
• 사람에 대해 재현율이 3%에서 81%로 향상되었고, 기업에 대해선 16%에서 74%로 향상되어 의미적 유사도 학습이 효과적으로 이루어졌음을 시사했다.
• 사람에 대해 정밀도@1이 10%에서 81%로 향상되었고, 기업에 대해선 26%에서 75%로 향상되어 훈련 후 가장 가까운 이웃이 진짜 매칭일 가능성이 매우 높다는 것을 보여주었다.
• 얼굴 인식에 대해서도 접근법의 일반화 성능이 뛰어났다: VGGFace2는 정밀도@1이 95%이며 재현율 91%를 기록했고, CasiaWebFace는 정밀도@1이 93%이며 재현율 87%를 기록했다.
• 연구 결과 하드 네거티브 마이닝이 하드 네거티브 비율이 높은 데이터셋에서 유의미하게 유리하며, 반경형 네거티브 마이닝이 성능이 떨어지는 경우에 특히 유용함을 확인했다.