[논문 리뷰] Scaling Author Name Disambiguation with CNF Blocking

Kunho Kim, Athar Sefid외 1명|arXiv (Cornell University)|2017. 09. 27.

Data Quality and Management참고 문헌 21인용 수 7

한 줄 요약

이 논문은 PubMed과 같은 대규모 학술 데이터베이스에서 확장 가능한 저자명 정규화(AND)를 위한 새로운 연결정규형(CNF) 블로킹 방법을 제안한다. 기존의 DNF 방법과 논리적으로 이원적인 CNF 형식의 블로킹 조건을 학습함으로써, 10.5분 내로 후보 쌍의 82.17%를 줄이고도 높은 완전성(PC=0.99)을 유지하면서도 상호 배타적인 블록 생성을 통해 효율적인 병렬 클러스터링을 가능하게 한다.

ABSTRACT

An author name disambiguation (AND) algorithm identifies a unique author entity record from all similar or same publication records in scholarly or similar databases. Typically, a clustering method is used that requires calculation of similarities between each possible record pair. However, the total number of pairs grows quadratically with the size of the author database making such clustering difficult for millions of records. One remedy for this is a blocking function that reduces the number of pairwise similarity calculations. Here, we introduce a new way of learning blocking schemes by using a conjunctive normal form (CNF) in contrast to the disjunctive normal form (DNF). We demonstrate on PubMed author records that CNF blocking reduces more pairs while preserving high pairs completeness compared to the previous methods that use a DNF with the computation time significantly reduced. Thus, these concepts in scholarly data can be better represented with CNFs. Moreover, we also show how to ensure that the method produces disjoint blocks so that the rest of the AND algorithm can be easily paralleled. Our CNF blocking tested on the entire PubMed database of 80 million author mentions efficiently removes 82.17% of all author record pairs in 10 minutes.

연구 동기 및 목표

• 기본적으로 기록 수가 증가함에 따라 쌍별 유사도 계산이 제곱적으로 증가하는 대규모 학술 데이터베이스(예: PubMed)에서 저자명 정규화(AND)의 확장성 문제를 해결한다.
• 특히 유명한 성함으로 인해 매우 큰 블록이 생겨 계산 시간이 지배적인 히ュ리스틱 블로킹 방법의 비효율성과 불균형 문제를 해결한다.
• 기존의 DNF 기반 학습 블로킹을 향상시키기 위해 논리적으로 이원적인 CNF 기반 접근법을 도입함으로써 더 빠른 초기 거부 및 높은 완전성을 달성한다.
• 클러스터링의 병렬 처리를 위해 블록 간 중복이 없도록 보장하는 방식으로 CNF 블로킹 방법을 확장하여 상호 배타적인 블록 생성을 가능하게 한다.
• 전체 PubMed 데이터베이스(8000만 개의 저자 언급)에서의 성능을 입증함으로써, 낮은 계산 비용으로도 높은 쌍 감소율을 달성한다.

제안 방법

• 각 블로킹 조건이 논리합의 념제(예: (fn,first(5)) ∨ (fn,compatible))의 념제 조합인 연결정규형(CNF)을 사용하여, 일치하지 않는 쌍을 효율적으로 초기에 거부할 수 있도록 한다.
• 완전성과 효율성을 최적화하기 위해 F1 점수, 재현율 등과 같은 수익 함수를 사용한 탐욕적 순차 커버 알고리즘을 적용하여, CNF 공식에 추가할 최적의 조건 항을 반복적으로 선택한다.
• 클러스터링의 병렬 처리를 위해 첫 단계에서 순수한 념제 조합 구조를 강제하여, 각 기록이 다중 블록에 속하지 않도록 하여 상호 배타적인 블록 생성을 보장한다.
• CNF와 DNF 간의 논리적 이원성 활용: DNF는 념제의 념합을 사용하지만, CNF는 념합의 념제를 사용함으로써 일치하지 않는 쌍을 더 빨리 걸러낼 수 있다.
• 실제 학술 데이터에서 누락되거나 모호한 값(예: 중간 이름, 성함 변형 등)을 처리하기 위해 'compatible'이라는 새로운 조건을 도입하여 정확도를 향상시킨다.
• PubMed 데이터를 대상으로 감독 학습 설정을 통해 성능을 평가하며, PC(쌍 완전성)와 RR(감소 비율) 지표를 사용해 DNF 블로킹 및 캐노피 클러스터링과 비교한다.

실험 결과

연구 질문

• RQ1 CNF 기반 블로킹 방법이 기존의 DNF 기반 학습 블로킹보다 저자명 정규화에서 쌍 감소율, 완전성, 처리 속도 측면에서 뛰어나게 되는가?
• RQ2 CNF 블로킹은 DNF 블로킹보다 일치하지 않는 쌍을 더 빨리 거부함으로써 더 빠른 처리 속도를 제공하는가?
• RQ3 CNF 블로킹 방법은 완전성에 큰 손실 없이 상호 배타적인 블록을 생성할 수 있는가? 이를 통해 효율적인 병렬 클러스터링이 가능한가?
• RQ4 실제 대규모 데이터베이스인 PubMed(8000만 개의 저자 언급)에서 제안된 CNF 블로킹의 쌍 감소율과 실행 시간 측면에서의 성능은 어떠한가?
• RQ5 'compatible' 조건은 누락되거나 변형된 이름 필드가 존재할 경우 정확도와 완전성 향상에 어떤 역할을 하는가?

주요 결과

• CNF 블로킹 방법은 전체 PubMed 데이터베이스(8000만 개의 언급)에서 24개 스레드를 사용해 단 10.5분 만에 가능한 모든 저자 기록 쌍의 82.17%를 줄였다.
• 완전성(PC)가 0.99일 때, CNF 블로킹의 블로킹 시간은 1.39초로, DNF 블로킹(2.09초)과 캐노피 클러스터링(0.44초)보다 빠르며, 캐노피 클러스터링이 가장 빠르지만 재현율이 낮다는 점을 감안할 때 유의미한 성능 향상을 보였다.
• 특히 PC 수준이 높을수록(DNF 블로킹보다도 더 높은 0.9 이상), CNF 블로킹이 완전성과 효율성 측면에서 DNF 블로킹을 뛰어넘었으며, 이는 학술 데이터의 개념이 CNF 형식으로 더 잘 표현됨을 시사한다.
• 학습된 CNF 블로킹 함수는 'compatible' 조건을 자주 사용함으로써, 누락되거나 변형된 이름 필드를 처리하는 데 효과적임을 보여주었다.
• 상호 배타적 CNF 블로킹 확장은 PC=0.99일 때 1.57초의 블로킹 시간으로 높은 성능을 달성하였으며, 클러스터링 단계의 네이티브 병렬 처리를 가능하게 하였다.
• CNF의 논리적 구조 덕분에 더 빠른 초기 거부가 가능했다: CNF는 념합의 념제로 이루어져 있기 때문에, 어느 하나의 념합 조건에서 실패하면 즉시 거부되며, DNF는 모든 조건을 확인해야 하는 반면에 이를 피할 수 있다.