[論文レビュー] A framework for constructing a huge name disambiguation dataset: algorithms, visualization and human collaboration

Zhuoyue Xiao, Yutao Zhang+3 more|arXiv (Cornell University)|Jul 4, 2020

Data Quality and Management参考文献 25被引用数 5

ひとこと要約

本稿では、399,255件の文書と45,187人の著者を含む、これまでで最大の手動ラベル付与済み著者名の曖昧性解消データセットであるWhoisWhoを紹介する。本研究では、グラフニューラルネットワーク（GNN）、可視化、投票メカニズムを統合した共同ラベリングフレームワークを提案し、ラベル付けの効率性と正確性を向上させ、曖昧性解消において5%未満の誤差率を達成し、最先端の手法を上回る性能を発揮した。

ABSTRACT

We present a manually-labeled Author Name Disambiguation(AND) Dataset called WhoisWho, which consists of 399,255 documents and 45,187 distinct authors with 421 ambiguous author names. To label such a great amount of AND data of high accuracy, we propose a novel annotation framework where the human and computer collaborate efficiently and precisely. Within the framework, we also propose an inductive disambiguation model to classify whether two documents belong to the same author. We evaluate the proposed method and other state-of-the-art disambiguation methods on WhoisWho. The experiment results show that: (1) Our model outperforms other disambiguation algorithms on this challenging benchmark. (2) The AND problem still remains largely unsolved and requires more in-depth research. We believe that such a large-scale benchmark would bring great value for the author name disambiguation task. We also conduct several experiments to prove our annotation framework could assist annotators to make accurate results efficiently and eliminate wrong label problems made by human annotators effectively.

研究の動機と目的

• データ駆動型モデルの進展を制限する、著者名の曖昧性解消（AND）のための大規模かつ高品質なベンチマークの不足に対処すること。
• 曖昧な著者名のラベル付けにおける人為的誤差と作業負荷を低減する、効率的で正確なラベリングフレームワークを開発すること。
• 将来的なAND分野の研究を支援するため、大規模で多様性に富み、正確なデータセット（WhoisWho）を構築すること。
• 新規ベンチマーク上で、新規の誘導型グラフニューラルネットワーク（GNN）モデルの性能を最先端手法と比較して評価すること。
• 最良の自動化モデルですら人間の性能に著しく劣っていることの実証を通し、ANDの課題が依然として未解決であることを強調すること。

提案手法

• 認知的負荷を軽減し、並列かつ集約可能な作業が可能な段階的処理に分割することで、曖昧性解消タスクを段階的に処理する共同ラベリングフレームワークを提案する。
• ノードおよびエッジ特徴量を用いて類似度グラフから得られる情報を活用し、2つの文書が同じ著者を指しているかどうかを予測する、教師あり誘導型グラフニューラルネットワーク（GNN）モデルを採用する。
• GNNが予測した類似度スコアに対してコミュニティ検出を適用し、初期の曖昧性解消クラスタを生成する。
• 文書間の関係性やクラスタ構造を可視化することで、ラベラーの意思決定を支援する可視化ツールを統合する。
• 検証段階で投票戦略を適用し、誤って割り当てられた文書を検出し、除外することで、結果の正確性を向上させる。
• 作成、検証、矛盾解決の各段階に分けることで、最小限の人的誤差でスケーラブルかつ共同でラベル付けが可能なプロセスを実現する。

実験結果

リサーチクエスチョン

• RQ1 スケーラブルで共同作業可能なラベリングフレームワークは、大規模な著者名の曖昧性解消における効率性と正確性を著しく向上させることができるか？
• RQ2 大規模で複雑なベンチマーク上で、誘導型GNNベースの曖昧性解消モデルは最先端手法と比べてどの程度優れているか？
• RQ3 人間のラベラーは孤立して作業する際にどの程度誤りを犯すのか？そして、共同作業ワークフローによってこれらの誤りは効果的に検出・是正できるか？
• RQ4 実世界の大規模データセットにおいて、最良の自動化された曖昧性解消モデルと人間の性能の間にはどの程度のギャップがあるか？
• RQ5 提示されたフレームワークは、ますます大規模で複雑な文書セットに対しても、性能劣化を伴わずにスケーリング可能か？

主な発見

• 提案された誘導型GNNモデルは、WhoisWhoベンチマーク上で、すべての最先端手法を上回り、次に良い手法よりも2.28%の改善を達成した。
• GNNデコーダーにエッジ特徴量を直接入力することで、ベースライン設定と比較して性能が13.54%および10.71%向上した。
• 検証段階で誤って割り当てられた文書の除外率が、ほとんどの文書セットで5%未満であったため、フレームワーク下での個々のラベラーの正確性が非常に高いことが示された。
• 作成段階における矛盾ペア比が、サイズが異なる文書セットにおいても低く安定しており、フレームワークのスケーラビリティと、わずかなラベリング誤差への耐性が確認された。
• システム支援のもと、ラベラーは1時間に600〜700件の文書をラベル付けすることができ、共同作業ワークフローにおける高い効率性が示された。
• 強力なモデル性能にもかかわらず、最良のモデルと人間の性能との間に顕著なギャップが残っており、AND問題が依然として大きく未解決であることが確認された。