[논문 리뷰] Fast Learning from Distributed Datasets without Entity Matching

Giorgio Patrini, Richard Nock외 2명|arXiv (Cornell University)|2016. 03. 13.

Data Quality and Management참고 문헌 6인용 수 5

한 줄 요약

이 논문은 공통 ID가 존재하지 않는 분산 데이터셋으로부터 빠르고 프라이버시를 보장하는 지도 학습을 위한 새로운 엔드 투 엔드 방법을 제안한다. 엔터티 매칭이 필요하지 않으며, Rademacher 관측치(rados)를 활용함으로써 계산 비용이 높고 종종 정확도가 떨어지는 엔터티 해상도 단계를 회피한다. 이로 인해 시간과 공간 복잡도가 크게 감소했으며, 특히 공통 ID가 없는 수직 분할 데이터 환경에서 표준 손실 함수를 최소화하는 데 있어 비교적 높거나 동등한 성능을 달성한다.

ABSTRACT

Consider the following data fusion scenario: two datasets/peers contain the same real-world entities described using partially shared features, e.g. banking and insurance company records of the same customer base. Our goal is to learn a classifier in the cross product space of the two domains, in the hard case in which no shared ID is available -- e.g. due to anonymization. Traditionally, the problem is approached by first addressing entity matching and subsequently learning the classifier in a standard manner. We present an end-to-end solution which bypasses matching entities, based on the recently introduced concept of Rademacher observations (rados). Informally, we replace the minimisation of a loss over examples, which requires to solve entity resolution, by the equivalent minimisation of a (different) loss over rados. Among others, key properties we show are (i) a potentially huge subset of these rados does not require to perform entity matching, and (ii) the algorithm that provably minimizes the rado loss over these rados has time and space complexities smaller than the algorithm minimizing the equivalent example loss. Last, we relax a key assumption of the model, that the data is vertically partitioned among peers --- in this case, we would not even know the existence of a solution to entity resolution. In this more general setting, experiments validate the possibility of significantly beating even the optimal peer in hindsight.

연구 동기 및 목표

• 동료 간에 공통 식별자가 존재하지 않는 분산 데이터셋에서 정확한 분류기 학습 문제를 해결하기 위해.
• 실제 데이터 융합 환경에서 계산 비용이 높고 오류가 발생하기 쉬운 엔터티 매칭이 필요 없도록 하기 위해.
• 원시 데이터 전송을 피함으로써 프라이버시를 유지하면서도 확장성 있고 통신 효율적인 학습 프레임워크를 개발하기 위해.
• 집합 통계량(rados)이 제곱 손실 및 리지 정규화 손실을 최소화하는 데 충분하다는 것을 입증하기 위해.
• 모르는 데이터 겹침이 존재하는 일반적인 환경으로까지 확장하여 수직 분할 데이터를 넘어서는 분산 학습의 적용 가능성을 넓히기 위해.

제안 방법

• 표준 예측 수준의 손실 최소화를 Rademacher 관측치(rados)에 대한 최소화로 대체한다. rados는 데이터 블록의 부분집합에 대한 집합 통계량이다.
• 각 피어에서 로컬로 rados를 구성하며, 고정된 크기의 데이터 블록 내에서 특징 벡터와 레이블의 합을 취함으로써 효율적이고 프라이버시를 보장하는 계산이 가능하다.
• 중앙 학습자는 원시 예측값이 아닌 rados만 수신하므로 통신 및 저장 비용이 감소하고 모델 정확도는 유지된다.
• 정리 3에서 증명된 바와 같이, rados는 제곱 손실에 대해 리지 정규화를 최소화하는 데 충분통계량이라는 사실을 활용한다.
• 알고리즘은 증명 가능한 효율성을 보이며, 시간 및 공간 복잡도가 예측 개수에 대해 선형 이하로 감소하여 기존의 엔터티 해상도 기반 파이프라인보다 뛰어나다.
• 데이터 겹침이 알려져 있지 않은 일반적인 분산 환경으로까지 방법을 확장하여 엄격한 수직 분할 가정을 완화한다.

실험 결과

연구 질문

• RQ1 엔터티 매칭을 수행하지 않고도 분산 데이터셋에서 정확한 지도 학습을 달성할 수 있는가?
• RQ2 Rademacher 관측치(rados)가 전체 데이터가 결합된 경우와 동일한 모델 성능을 회복하는 데 충분한가?
• RQ3 기존의 엔터티 해상도 기반 파이프라인에 비해 제안된 방법이 계산 및 통신 비용을 줄이는가?
• RQ4 동료 간 데이터 겹침이 알려져 있거나 일부 누락된 경우에도 이 방법을 적용할 수 있는가?
• RQ5 rados에서의 교차 검증 통계적 행동은 원시 예측값에서의 것과 어떻게 비교되는가?

주요 결과

• 엔터티 매칭 단계 없이도 전체 엔터티 해상도 후 학습된 모델과 비교해 유사한 분류 성능을 달성한다.
• rado 기반 학습 알고리즘의 시간 및 공간 복잡도는 엔터티 해상도 기반 접근 방식보다 크게 낮으며, 특히 대규모 환경에서 뚜렷한 우수성을 보인다.
• rados는 표현 크기를 $m \times d$ 에서 $m^\star \times d$ 로 압축함으로써 데이터 압축을 가능하게 하며, 여기서 $m^\star \ll m$ 이다.
• 실험 결과, 이 방법은 후행적으로 볼 때 최고의 개별 피어조차도 능가하는 성능을 보였다. 이는 매칭 없이도 융합의 이점을 얻을 수 있음을 시사한다.
• 알려지지 않은 데이터 겹침에 대해 강건하게 작동하여 엄격한 수직 분할을 초월한 일반적인 분산 환경에서도 효과적으로 기능한다.
• 이론적 분석을 통해 rados가 제곱 손실에 대해 리지 정규화를 최소화하는 데 충분통계량임을 확인하였으며, 이는 모델 일致성을 보장한다.