[논문 리뷰] A Comparison of Blocking Methods for Record Linkage

Rebecca C. Steorts, Samuel Ventura외 2명|arXiv (Cornell University)|2014. 07. 11.

Data Quality and Management참고 문헌 14인용 수 21

한 줄 요약

이 논문은 스케일러블 레코드 라이언킹을 위한 기존 블로킹 방법과 두 가지 국소성 감지 해싱(LSH) 변종—이행성 LSH(TLSH)와 k-means LSH(KLSH)—를 비교한다. KLSH는 k=2일 때 80% 이상의 높은 리콜을 달성하고, 블록 수가 ≥25일 때 95% 이상의 강력한 감소 비율을 보이며 기존 방법을 능가하지만, 최적 성능을 내기 위해 튜닝이 필요하다. 계산 효율성은 유지되나, 최적 성능을 내기 위해 튜닝이 필요하다.

ABSTRACT

Record linkage seeks to merge databases and to remove duplicates when unique identifiers are not available. Most approaches use blocking techniques to reduce the computational complexity associated with record linkage. We review traditional blocking techniques, which typically partition the records according to a set of field attributes, and consider two variants of a method known as locality sensitive hashing, sometimes referred to as "private blocking." We compare these approaches in terms of their recall, reduction ratio, and computational complexity. We evaluate these methods using different synthetic datafiles and conclude with a discussion of privacy-related issues.

연구 동기 및 목표

• 기존 블로킹 방법과 고급 LSH 기반 블로킹 기법을 레코드 라이언킹에서 평가하고 비교하는 것.
• TLSH와 KLSH의 리콜, 감소 비율, 계산 복잡도 측면에서의 성능를 평가하는 것.
• 다양한 중복률을 가진 합성 데이터셋에서 LSH 기반 방법의 확장성과 정확도를 검토하는 것.
• 특히 개인정보 보호 레코드 라이언킹(PPRL) 맥락에서 LSH 기반 블로킹의 개인정보 영향을 탐색하는 것.
• 최적의 라이언킹 성능를 위해 LSH 파라미터(예: k, b) 튜닝에 대한 실용적 지침을 제공하는 것.

제안 방법

• 기존 블로킹은 사전 정의된 오류 없는 필드(예: 성별, 생년)에서의 일치를 기반으로 레코드를 블록으로 분할하며, 이러한 필드가 신뢰 가능하다고 가정한다.
• TLSH는 커뮤니티 탐지에서 영감을 얻은 소프트 이행성 모델을 사용하여 유사한 레코드를 블록으로 그룹화하며, 파라미터 b를 사용한 시닝글링과 밴딩을 적용한다.
• KLSH는 벡터 공간 표현과 무작위 투영을 사용하여 유사한 레코드를 블록으로 군집화하며, 파라미터 k를 사용한 k-시닝글링을 적용한다.
• TLSH와 KLSH는 모두 최종 매칭 결정이 계산적으로 비용이 많이 드는 비공개 비교 기법을 사용하는 '비공개 블로킹' 방법으로 평가된다.
• 성능 평가를 위해 다양한 중복률(10%, 30%, 50%)과 기준값이 있는 합성 데이터셋(RLdata500, RLdata10000)을 사용하여 벤치마킹한다.
• 성능는 리콜, 감소 비율(RR), 그리고 실측 계산 시간을 통해 측정되며, 최적 결과를 얻기 위해 k와 b의 튜닝이 이루어진다.

실험 결과

연구 질문

• RQ1 TLSH와 KLSH는 리콜과 감소 비율 측면에서 기존 블로킹 방법과 어떻게 비교되는가?
• RQ2 튜닝 파라미터(k, b)는 TLSH와 KLSH의 성능에 어떤 영향을 미치는가?
• RQ3 LSH 기반 방법은 계산 복잡도를 크게 줄이면서도 높은 리콜을 유지할 수 있는가?
• RQ4 TLSH와 KLSH는 개인정보 보호 레코드 라이언킹을 어느 정도 지원할 수 있으며, 그 제한점은 무엇인가?
• RQ5 KLSH의 성능는 순열 수(p)와 시닝글 크기(k)에 따라 어떻게 변화하는가?

주요 결과

• KLSH는 k=2일 때 80% 이상의 리콜을 달성하고, k=4일 땐 90% 이상을 기록하며, RLdata10000 데이터셋에서 k=5일 때 최고의 리콜을 기록한다.
• KLSH의 감소 비율(RR)은 총 블록 수가 최소 25개 이상일 때 95%를 초과하여 강력한 확장성을 보인다.
• TLSH는 b=26일 때 모든 시닝글 크기에서 98% 이상의 높은 RR을 유지하며, 많은 기존 방법을 능가한다.
• KLSH와 TLSH 모두 데이터셋 크기에 따라 거의 제곱근 비례로 확장되며, 이론적 계산 복잡도 예측과 일치한다.
• 두 방법의 성능는 특히 k와 b에 매우 민감하며, 부적절한 선택은 낮은 리콜로 이어진다.
• 비록 '비공개 블로킹'으로 명명되었지만, TLSH나 KLSH는 차별적 프라이버시 기준 하에 공식적인 프라이버시 보장을 제공하지 않으며, k-익명성 역시 부분적으로만 충족된다.