[論文レビュー] A Weighted Correlation Index for Rankings with Ties

Sebastiano Vigna|arXiv (Cornell University)|Apr 12, 2014

Data Management and Algorithms参考文献 1被引用数 6

ひとこと要約

本稿では、Kendallのτに基づく重み付き相関指数を提案し、特に大規模なグラフにおいて共通する順位の tied（同順位）を扱えるように一般化する。加法的および乗法的重み付け方式（特に双曲線的重み）を導入することで、上位順位のアイテム同士の一致に対する感度が向上し、一般化された Knight のアルゴリズムにより O(n log n) の計算が可能となり、標準的な τ よりも人間の直感的評価と優れた一貫性を示す。

ABSTRACT

Understanding the correlation between two different scores for the same set of items is a common problem in information retrieval, and the most commonly used statistics that quantifies this correlation is Kendall's $τ$. However, the standard definition fails to capture that discordances between items with high rank are more important than those between items with low rank. Recently, a new measure of correlation based on average precision has been proposed to solve this problem, but like many alternative proposals in the literature it assumes that there are no ties in the scores. This is a major deficiency in a number of contexts, and in particular while comparing centrality scores on large graphs, as the obvious baseline, indegree, has a very large number of ties in web and social graphs. We propose to extend Kendall's definition in a natural way to take into account weights in the presence of ties. We prove a number of interesting mathematical properties of our generalization and describe an $O(n\log n)$ algorithm for its computation. We also validate the usefulness of our weighted measure of correlation using experimental data.

研究の動機と目的

• 標準的な Kendall の τ が同順位を扱う際の制限を解消すること、特に同順位が一般的な大規模グラフ解析において。
• 上位順位のアイテム同士の一致を重視する重み付き相関測度を開発することにより、情報検索やネットワーク解析における現実世界の直感を反映すること。
• Kendall の τ を計算する Knight の O(n log n) アルゴリズムを、加法的および乗法的重み付け方式に対応する一般化を図ること。
• 実世界のグラフ（例：Wikipedia、ハリウッド共演ネットワーク、Common Crawl ホストグラフ）に対して本測度を検証し、標準的な τ よりも人間の直感とより一致することを示すこと。
• 本測度により、到達不能なコンponent における PageRank と Closeness の強い一致が、以前に気づかれていなかったことが明らかになること。

提案手法

• Kendall の τ を拡張し、アイテムの順位に基づいて不一致ペアに重みを付与する。加法的双曲線的または乗法的重み関数を用いる。
• 一般化された τ_w を、一致ペアと不一致ペアの重み付き和として定義し、[-1, 1] の範囲に正規化することで数学的整合性を保証する。
• 非一様な重みに対応する一般化された Knight のアルゴリズムを拡張し、重み付き相関を O(n log n) 時間で計算するための修正安定ソートを適用する。
• 上位順位のアイテムを強調するために、加法的双曲線的重み w(i) = 1 / log(1 + ρ(i)) を用いる。ここで ρ(i) はアイテム i の順位である。
• 同じアルゴリズムフレームワークを用いて、重み付き τ と平均適合度（AP）相関の両方を効率的に計算する。
• 実装および GNU GPL の下での公開のため、LAW ソフトウェアライブラリを採用する。

実験結果

リサーチクエスチョン

• RQ1 Kendall の τ は、同順位を扱う際の一般化を図りつつ、解釈可能性と [-1, 1] への正規化を保つことができるか？
• RQ2 重み付き相関測度は、標準的な τ よりも人間の上位リスト類似度に関する直感的認識とどの程度一致するか？
• RQ3 重みがアイテムの順位に加法的または乗法的に依存する場合に、重み付き Kendall の τ に対して効率的な O(n log n) アルゴリズムを設計できるか？
• RQ4 上位重み付け方式を用いることで、グラフ中心性測度（例：PageRank 対 Closeness）に関する新たな知見は得られるか？
• RQ5 提案された測度は、実世界のネットワーク（特に密で小さな到達不能コンponent など）において、以前に気づかれていなかった相関関係を検出できるか？

主な発見

• 提案された双曲線的重み付き τ（τ_h）は、PageRank とインデグリーの間で 0.9 以上の強い相関を示し、実証的観察と整合的である。これに対して標準的な τ はこの類似性を低く評価してしまう。
• ハリウッド共演ネットワークの小さな到達不能コンponent において、PageRank と Closeness の間で以前に気づかれていなかった相関が τ_h によって検出された。これは、PageRank が密で小さなコミュニティにバイアスをもつ理由を説明する。
• Common Crawl ホストグラフにおいて、τ_h は PageRank が孤立した小さなコンponent に著しく高い順位を割り当てていることを正しく特定しており、これは PageRank がコンponent のサイズに敏感でないことに一致する。
• アルゴリズムにより重み付き相関が O(n log n) 時間で計算可能であり、大規模グラフへのスケーラビリティを実現しており、並列または分散実行（例：MapReduce）により性能が向上する。
• 本手法は AP 相関へも一般化可能であり、同じアルゴリズムフレームワークを用いて平均適合度に基づく指標を効率的に計算可能である。
• 加法的双曲線的重み付け方式により、上位 k 個のリスト類似度の細分化された評価が可能となり、重みは上位 k 個への含むかどうかと、内部の順位位置の両方に依存する。