[論文レビュー] Interpretable and Fair Comparison of Link Prediction or Entity Alignment Methods with Adjusted Mean Rank

Max Berrendorf, Evgeniy Faerman+2 more|arXiv (Cornell University)|Feb 17, 2020

Advanced Graph Neural Networks被引用数 7

ひとこと要約

本論文は、異なるデータセットや学習・テスト分割におけるリンク予測およびエンティティアライメント手法の評価を公平に、解釈可能かつ比較可能にするために、調整済み平均順位（AMR）を提案する。順位スコアにおけるデータセット固有のバイアスを補正することで、AMRは誤った比較を排除し、モデルのパフォーマンス評価のための統一された指標を提供する。

ABSTRACT

In this work, we take a closer look at the evaluation of two families of methods for enriching information from knowledge graphs: Link Prediction and Entity Alignment. In the current experimental setting, multiple different scores are employed to assess different aspects of model performance. We analyze the informative value of these evaluation measures and identify several shortcomings. In particular, we demonstrate that all existing scores can hardly be used to compare results across different datasets. Moreover, this problem may also arise when comparing different train/test splits for the same dataset. We show that this leads to various problems in the interpretation of results, which may support misleading conclusions. Therefore, we propose a different evaluation and demonstrate empirically how this helps for fair, comparable and interpretable assessment of model performance.

研究の動機と目的

• リンク予測およびエンティティアライメントの既存の評価指標における解釈可能性と公平性の欠如に対処する。
• 固有のバイアスのため、現在のスコアは異なるデータセットや学習・テスト分割間で比較可能でないことを特定する。
• 多様な実験設定にわたる信頼できるモデル比較を可能にする標準化された評価フレームワークを提案する。
• バイアスのある評価スコアによる誤った解釈を排除することで、研究結論の信頼性を向上させる。

提案手法

• データセット固有の順位バイアスを補正する正規化評価指標として調整済み平均順位（AMR）を導入する。
• 各データセットにおけるベースラインモデルの平均および標準偏差を用いて、原始的な平均順位スコアにzスコア正規化を適用する。
• モデルのパフォーマンスが、データセット間で一貫したベースラインに基づいて評価されることを保証し、データセット間比較を可能にする。
• AMRが、異なるデータセットスケールに起因する歪みを排除しながら、モデルの改善に感度を保つことを示す。
• リンク予測およびエンティティアライメントの複数のベンチマークデータセットを用いて手法を検証し、一貫したパフォーマンス順位が得られることを示す。
• AMRと従来の指標（例：平均逆順位（MRR）や平均順位（MR））を比較する実証的分析を実施し、AMRの優位性を強調する。

実験結果

リサーチクエスチョン

• RQ1 既存の評価指標は、リンク予測およびエンティティアライメントにおいて、異なるデータセット間で公平な比較をどの程度サポートしていないか。
• RQ2 データセットのサイズや構造の違いが、MRR や MR などの標準順位スコアの信頼性にどのように影響するか。
• RQ3 多様なデータセットや分割間で一貫性があり、解釈可能なモデル比較を可能にする正規化評価指標を設計可能か。
• RQ4 提案された調整済み平均順位（AMR）は、従来の指標と比較して、モデルパフォーマンス評価の解釈可能性と公平性をどの程度向上させるか。

主な発見

• 平均順位やMRRのような標準的評価指標は、スケールの違いに起因するため、異なるデータセット間で比較可能でない。
• 同じモデルが、単にデータセット固有の順位バイアスのため、あるデータセットでは他よりも優れているように見えるが、実際のパフォーマンス差は存在しないことがある。
• 提案された調整済み平均順位（AMR）は、データセット間でパフォーマンススコアを正規化し、公平で解釈可能な比較を可能にする。
• AMRは、データセット依存の歪みを排除することで、誤った結論のリスクを低減する。
• 実証的結果から、AMRはパフォーマンスの改善に感度を保ちながら、多様な実験設定で一貫したパフォーマンス順位を維持することが示された。
• AMRの使用により、特にデータセット間ベンチマークの場面において、より信頼性が高く透明性のあるモデル評価が可能になる。