[논문 리뷰] A framework for constructing a huge name disambiguation dataset: algorithms, visualization and human collaboration

Zhuoyue Xiao, Yutao Zhang외 3명|arXiv (Cornell University)|2020. 07. 04.

Data Quality and Management참고 문헌 25인용 수 5

한 줄 요약

이 논문은 지금까지 가장 큰 수작업으로 레이블링된 저자 이름 간추림 데이터셋인 WhoisWho를 제시한다. 이 데이터셋에는 399,255건의 문서와 45,187명의 저자가 포함되어 있다. 연구는 그래프 신경망, 시각화, 투표 메커니즘을 통합한 협업 레이블링 프레임워크를 제안하여 레이블링의 효율성과 정확성을 향상시키며, 간추림 작업에서 5% 미만의 오류율을 달성하고 최신 기술보다 뛰어난 성능을 보였다.

ABSTRACT

We present a manually-labeled Author Name Disambiguation(AND) Dataset called WhoisWho, which consists of 399,255 documents and 45,187 distinct authors with 421 ambiguous author names. To label such a great amount of AND data of high accuracy, we propose a novel annotation framework where the human and computer collaborate efficiently and precisely. Within the framework, we also propose an inductive disambiguation model to classify whether two documents belong to the same author. We evaluate the proposed method and other state-of-the-art disambiguation methods on WhoisWho. The experiment results show that: (1) Our model outperforms other disambiguation algorithms on this challenging benchmark. (2) The AND problem still remains largely unsolved and requires more in-depth research. We believe that such a large-scale benchmark would bring great value for the author name disambiguation task. We also conduct several experiments to prove our annotation framework could assist annotators to make accurate results efficiently and eliminate wrong label problems made by human annotators effectively.

연구 동기 및 목표

• 데이터 기반 모델의 발전을 저해하는 저자 이름 간추림(AND)을 위한 대규모이고 고품질의 벤치마크가 부족한 문제를 해결하기 위해.
• 모호한 저자 이름 레이블링에서 인간의 오류와 노동량을 줄이는 효율적이고 정확한 레이블링 프레임워크를 개발하기 위해.
• 미래의 AND 연구를 지원하기 위해 대규모, 다양한, 정확한 데이터셋(WhoisWho)을 구축하기 위해.
• 새로운 벤치마크에서 최신 기술보다 뛰어난 성능을 보이는 인덕티브 그래프 신경망 모델의 성능을 평가하기 위해.
• 심지어 최고의 자동화 모델조차도 인간 성능에 크게 뒤처지며, AND 문제가 아직 해결되지 않은 채로 남아 있음을 입증하기 위해.

제안 방법

• 간추림 작업을 단계별로 나누어 인지 부담을 줄이고, 병렬 처리 및 집계 가능한 작업을 가능하게 하는 협업 레이블링 프레임워크를 제안한다.
• 유사도 그래프에서 노드 및 엣지 특징을 사용하여 두 문서가 같은 저자를 가리키는지 예측하는 지도 학습 기반의 인덕티브 그래프 신경망(GNN) 모델을 적용한다.
• GNN 예측 유사도 점수에 커뮤니티 탐지 기법을 적용하여 초기 간추림 클러스터를 생성한다.
• 문서 간 관계와 클러스터 구조를 시각적으로 표시하여 검토자 결정 지원을 위한 시각화 도구를 통합한다.
• 검토 단계에서 투표 전략을 적용하여 잘못 할당된 문서를 탐지하고 제거함으로써 결과 정확도를 향상시킨다.
• 레이블링 과정을 창출, 검토, 갈등 해결의 명확한 단계로 분리하여 인간 오류 최소화로 가능한 확장 가능한 협업 레이블링을 가능하게 한다.

실험 결과

연구 질문

• RQ1 확장 가능하고 협업 기반의 레이블링 프레임워크가 대규모 저자 이름 간추림의 효율성과 정확도를 크게 향상시킬 수 있는가?
• RQ2 대규모이고 복잡한 벤치마크에서 인덕티브 GNN 기반 간추림 모델은 최신 기술보다 어떻게 비교되는가?
• RQ3 단독으로 작업할 때 인간 검토자가 얼마나 많은 오류를 범하는가? 이러한 오류는 협업 워크플로우를 통해 효과적으로 탐지하고 수정할 수 있는가?
• RQ4 실제 대규모 데이터에서 최고의 자동 간추림 모델과 인간 성능 사이의 격차는 어느 정도인가?
• RQ5 제안된 프레임워크는 성능 저하 없이 점점 더 큰 규모와 복잡도를 가진 문서 집합을 처리할 수 있는가?

주요 결과

• 제안된 인덕티브 GNN 모델은 WhoisWho 벤치마크에서 모든 최신 기술 기반 간추림 방법보다 뛰어나며, 다음으로 우수한 방법보다 2.28% 향상된 성능을 기록했다.
• GNN 디코더에 직접 엣지 특징를 입력함으로써, 기준 설정 대비 성능이 각각 13.54%와 10.71% 향상되었다.
• 검토 단계에서 잘못 할당된 문서의 제거 비율이 대부분의 문서 세트에서 5% 미만이었으며, 이는 프레임워크 하에서 개별 검토자의 정확도가 높음을 시사한다.
• 창출 단계에서의 갈등 쌍 비율이 다양한 크기의 문서 세트에서 낮고 안정적이었으며, 이는 프레임워크의 확장성과 미세한 레이블링 오류에 대한 강건성을 확인한다.
• 시스템 지원 하에 검토자들은 시간당 약 600~700건의 문서를 레이블링하여 협업 워크플로우에서 높은 효율성을 입증했다.
• 강력한 모델 성능에도 불구하고, 최고의 모델과 인간 성능 사이에 여전히 큰 격차가 존재하며, AND 문제의 핵심 도전 과제가 해결되지 않은 채로 남아 있음을 확인했다.