[논문 리뷰] Entity Resolution and Federated Learning get a Federated Resolution

Richard Nock, Stephen Hardy외 5명|arXiv (Cornell University)|2018. 03. 11.

Data Quality and Management참고 문헌 18인용 수 75

한 줄 요약

이 논문은 수직으로 분할된 연합 학습에서 엔티티 일치(entity resolution) 오류가 학습에 미치는 영향을 형식적으로 분석하고, 큰 여백(large-margin) 분류기에 대한 강건성 경계를 도출하며, 교차 클래스 실수에 초점을 맞춘 엔티티 일치가 노이즈가 있는 데이터에서 다운스트림 학습을 개선한다는 것을 실험으로 입증한다.

ABSTRACT

Consider two data providers, each maintaining records of different feature sets about common entities. They aim to learn a linear model over the whole set of features. This problem of federated learning over vertically partitioned data includes a crucial upstream issue: entity resolution, i.e. finding the correspondence between the rows of the datasets. It is well known that entity resolution, just like learning, is mistake-prone in the real world. Despite the importance of the problem, there has been no formal assessment of how errors in entity resolution impact learning. In this paper, we provide a thorough answer to this question, answering how optimal classifiers, empirical losses, margins and generalisation abilities are affected. While our answer spans a wide set of losses --- going beyond proper, convex, or classification calibrated ---, it brings simple practical arguments to upgrade entity resolution as a preprocessing step to learning. One of these suggests that entity resolution should be aimed at controlling or minimizing the number of matching errors between examples of distinct classes. In our experiments, we modify a simple token-based entity resolution algorithm so that it indeed aims at avoiding matching rows belonging to different classes, and perform experiments in the setting where entity resolution relies on noisy data, which is very relevant to real world domains. Notably, our approach covers the case where one peer extit{does not} have classes, or a noisy record of classes. Experiments display that using the class information during entity resolution can buy significant uplift for learning at little expense from the complexity standpoint.

연구 동기 및 목표

• 모티베이션: 서로 다른 당사자가 공통 엔티티에 대해 서로 다른 특징 집합을 보유하는 수직으로 분할된 데이터에서의 연합 학습.
• 목표: 엔티티 해상 실수들이 최적 분류기, 경험적 손실, 여백, 일반화에 미치는 영향을 정량화.
• 목표: 학습의 전처리 단계로서 엔티티 해상을 업그레이드하기 위한 실행 가능한 지침을 제공하고, 특히 교차 클래스 매칭 오류에 주목.
• 범위: 릭드 재규격화(Ridge-regularized) 및 Taylor 손실에 대한 이론적 경계(bounds)를 개발하고 이를 실용적 ER 전략과 연결.

제안 방법

• 공유된 엔티티 집합과 엔티티 해상 실수의 순열 기반 표현을 가지는 수직 분할 피어로 데이터를 모델링한다.
• Ridge-정규화 손실과 Taylor 손실을 사용하여 광범위한 학습 목표를 포착한다.
• $(\varepsilon,\tau)$-정확한 순열 하에서 이상적 분류기와 노이즈가 많은 데이터로부터 학습된 분류기 간의 편차에 대한 경계를 도출한다.
• ER 오류의 효과와 데이터셋 특성을 요약하기 위해 핵심 매개변수(delta_theta, delta_P, delta_S)을 도입한다.
• 특정 조건 하에서 큰 여백 분류기가 ER 오류에 대해 면역성을 보임을 증명하고 여백을 오차 허용과 연결한다.
• 클래스 정보를 토큰 기반 ER에 적용하고 15개 UCI 도메인에서 테스트하여 실험적 검증을 제공한다.

실험 결과

연구 질문

• RQ1 수직 연합 학습에서 엔티티 해상 오류가 최적 분류기, 손실, 일반화에 어떤 영향을 미치는가?
• RQ2 큰 여백 분류가 엔티티 해상 실수에 면역성을 제공할 수 있는가, 어떤 조건에서 가능한가?
• RQ3 ER 설계 선택들(특히 교차 클래스 매칭 오류)이 다운스트림 학습 성능에 가장 큰 영향을 미치는가?
• RQ4 데이터가 노이즈가 있거나 부분적으로 라벨링된 경우 클래스 정보를 엔티티 해상에 포함시키면 학습 이득이 크게 나타나는가?
• RQ5 이론적 경계가 실제 ER 알고리즘과 실제 데이터셋에 어떻게 적용되는가?

주요 결과

• 이론적 경계는 엔티티 해상 실수로 인한 이상적 분류기와 학습된 분류기 간의 드리프트가 순열 단계 수와 ER 오차 규모에 비례하지만, 특정 한계 조건이 성립하면 샘플 크기가 커질수록 감소한다는 것을 보여준다.
• 큰 여백 분류기에 대해 주어진 여백에서 ER 실수에 대한 면역성이 달성되며, 샘플 크기가 커지고 교차 클래스 오류가 제어될수록 면역성이 향상된다.
• Taylor 손실과 Ridge 정규화를 사용한 학습은 최적점 근방에서 볼록 Taylor 손실과 정합될 수 있어 분석과 실용적 최적화를 용이하게 한다.
• 토큰 기반 ER에 클래스 정보를 포함시키는 실험은 클래스 비정보 ER에 비해 상당한 개선을 보여주며 때로는 이상적으로 엔티티 해상된 데이터의 결과에 근접하다.
• 주요 ER 설계 시사점: 교차 클래스 매칭 오류(rho=0)를 최소화하는 것이 가장 강한 경계와 학습 강건성을 제공한다.
• 분석은 학습에 대한 ER 영향의 주요 구동 매개변수(delta_theta, delta_P, delta_S)의 소수 집합을 강조한다.