[논문 리뷰] Auto-FuzzyJoin: Auto-Program Fuzzy Similarity Joins Without Labeled Examples

Peng Li, Xiang Cheng외 3명|arXiv (Cornell University)|2021. 03. 07.

Data Quality and Management참고 문헌 41인용 수 7

한 줄 요약

Auto-FuzzyJoin는 레이블이 없는 데이터를 사용하여 엔터티 해석을 위한 고품질의 퍼지 조인 프로그램을 자동으로 생성하는 비지도 학습 프레임워크이다. 이는 거리 함수의 기하학적 해석을 사용하며, 하나의 입력 테이블을 기준으로 하여 매개변수를 최적화함으로써 정밀도 목표를 달성하면서 재현율을 최대화한다. 이는 지도 학습 기반의 기준선, 50% 레이블 데이터를 사용하는 방법을 포함하여 모두 뛰어넘는 성능을 보였다.

ABSTRACT

Fuzzy similarity join is an important database operator widely used in practice. So far the research community has focused exclusively on optimizing fuzzy join extit{scalability}. However, practitioners today also struggle to optimize fuzzy-join extit{quality}, because they face a daunting space of parameters (e.g., distance-functions, distance-thresholds, tokenization-options, etc.), and often have to resort to a manual trial-and-error approach to program these parameters in order to optimize fuzzy-join quality. This key challenge of automatically generating high-quality fuzzy-join programs has received surprisingly little attention thus far. In this work, we study the problem of "auto-program" fuzzy-joins. Leveraging a geometric interpretation of distance-functions, we develop an unsupervised extsc{Auto-FuzzyJoin} framework that can infer suitable fuzzy-join programs on given input tables, without requiring explicit human input such as labeled training data. Using extsc{Auto-FuzzyJoin}, users only need to provide two input tables $L$ and $R$, and a desired precision target $τ$ (say 0.9). extsc{Auto-FuzzyJoin} leverages the fact that one of the input is a reference table to automatically program fuzzy-joins that meet the precision target $τ$ in expectation, while maximizing fuzzy-join recall (defined as the number of correctly joined records). Experiments on both existing benchmarks and a new benchmark with 50 fuzzy-join tasks created from Wikipedia data suggest that the proposed extsc{Auto-FuzzyJoin} significantly outperforms existing unsupervised approaches, and is surprisingly competitive even against supervised approaches (e.g., Magellan and DeepMatcher) when 50\% of ground-truth labels are used as training data.

연구 동기 및 목표

• 퍼지 조인 설정의 증가하는 사용성 문제를 해결하기 위해, 지침 없이도 광범위하고 수동적인 매개변수 공간을 다루는 데 어려움을 겪는 전문가들을 돕기 위해.
• 레이블이 없는 학습 데이터가 필요 없이 입력 테이블에 맞게 맞춤형 퍼지 조인을 자동으로 프로그래밍하는 비지도 학습 방법을 개발하기 위해.
• 사람이 레이블을 지정하지 않은 예시에 의존하지 않고도 사용자가 정의한 정밀도 제약 조건 하에 재현율을 극대화함으로써 퍼지 조인 품질을 최적화하기 위해.
• 다양한 데이터 유형과 구조(다중 열 및 노이즈가 있는 입력 포함)에 적응할 수 있는 확장성 있고 일반화 가능한 솔루션을 만들기 위해.

제안 방법

• 프레임워크는 거리 함수를 기하학적으로 다루며, 벡터 공간으로 모델링하여 최적의 매개변수 조합을 유추한다.
• 진짜 매칭의 분포를 추정하고 매개변수 검색을 안내하기 위해 하나의 입력 테이블을 기준으로 사용한다.
• 재현율을 극대화하면서도 예상 정밀도가 목표 τ를 충족하도록 보장하는 제약 조건이 있는 최적화 문제를 설정한다.
• 기하학적 클러스터링과 거리 민감도 분석을 통해 특징의 정보성 분석을 통해 열 선택 및 가중치를 자동으로 수행한다.
• 매칭과 비매칭을 구분하는 데 기여하는 열의 기여도에 따라 열을 동적으로 선택하고 가중치를 할당한다.
• 기하학적 성질과 기준 테이블의 구조에 따라 안내되는 매개변수 공간(토큰화, 거리 함수, 임계값)에 대한 검색 전략을 사용한다.

실험 결과

연구 질문

• RQ1 레이블 예제가 전혀 없는 비지도 학습 방법이 고품질의 퍼지 조인 프로그램을 자동으로 생성할 수 있는가?
• RQ2 레이블이 50% 포함된 지도 학습 방법과 비교해 비지도 접근 방식은 어느 정도의 성능을 보일 수 있는가?
• RQ3 사용자 입력 없이도 유informative한 열을 효과적으로 선택하고 최적의 가중치를 할당할 수 있는가?
• RQ4 입력 테이블에 관련 없는 열이나 무작위 열이 포함되었을 경우 이 방법의 성능은 얼마나 견고한가?
• RQ5 기준 테이블을 활용할 경우 매개변수 설정과 조인 품질 향상에 어느 정도 기여하는가?

주요 결과

• Auto-FuzzyJoin는 다중 열 데이터셋에서 평균 PR-AUC 0.89를 달성하여 모든 비지도 기준선을 뛰어넘고, 최고의 지도 학습 방법과 동일한 성능을 보였다.
• Excel(가장 강력한 비지도 기준선)보다 재현율을 0.13 향상시켰고, 50% 레이블 데이터를 사용하는 지도 학습 방법 AL보다 0.014 향상시켰다.
• 무작위 열이 추가된 상황에서도 높은 성능을 유지하여 견고성을 입증했으며, Excel과 AL은 성능 저하를 보였다.
• 대부분의 경우 Auto-FuzzyJoin는 하나 또는 두 개의 정보성 있는 열(예: 이름, 감독자)만 선택하여 효과적인 열 선택을 보였다.
• 통계적 검정 결과 유의미한 결과를 확인: 모든 비지도 기준선과의 비교에서 p-값이 0.034 이하였으며, 결과에 대한 강력한 신뢰도를 보였다.
• 8개 데이터셋 중 2개에서 Auto-FuzzyJoin가 가장 높은 PR-AUC를 기록했고, 나머지 데이터셋에서는 최고 성능을 보인 방법과 매우 좁은 격차 내에 머물렀다.