[論文レビュー] A Critical Re-evaluation of Benchmark Datasets for (Deep) Learning-Based Matching Algorithms

George Papadakis, Nishadi Kirielle+2 more|arXiv (Cornell University)|Jul 3, 2023

Data Quality and Management被引用数 6

ひとこと要約

この論文は、深層学習に基づくマッチングアルゴリズムのベンチマークデータセットを批判的に評価し、大多数のデータセットが線形性が高く、複雑さが低いあまりに簡単であることが明らかになった。本研究では、理論的線形性と複雑さの測定、および線形モデルと非線形モデルの間の実践的性能差の二重アプローチを提案し、不適切なベンチマークを特定する。さらに、今後の研究に向けたより困難で現実的であるデータセットを生成するための新フレームワークを提唱する。

ABSTRACT

Entity resolution (ER) is the process of identifying records that refer to the same entities within one or across multiple databases. Numerous techniques have been developed to tackle ER challenges over the years, with recent emphasis placed on machine and deep learning methods for the matching phase. However, the quality of the benchmark datasets typically used in the experimental evaluations of learning-based matching algorithms has not been examined in the literature. To cover this gap, we propose four different approaches to assessing the difficulty and appropriateness of 13 established datasets: two theoretical approaches, which involve new measures of linearity and existing measures of complexity, and two practical approaches: the difference between the best non-linear and linear matchers, as well as the difference between the best learning-based matcher and the perfect oracle. Our analysis demonstrates that most of the popular datasets pose rather easy classification tasks. As a result, they are not suitable for properly evaluating learning-based matching algorithms. To address this issue, we propose a new methodology for yielding benchmark datasets. We put it into practice by creating four new matching tasks, and we verify that these new benchmarks are more challenging and therefore more suitable for further advancements in the field.

研究の動機と目的

• 深層学習に基づくマッチングアルゴリズムで使用されるベンチマークデータセットの厳密な評価の欠如に対処すること。
• 多くの広く使われているデータセットが、複雑な非線形学習ベースのマッチング手法の性能を適切に評価できない理由を特定すること。
• 理論的および実証的測定に基づいた、データセットの難易度を評価する体系的なフレームワークを開発すること。
• 実世界のエンティティレゾリューションの課題をよりよく反映する、より困難な新しいベンチマークデータセットを構築すること。
• 深層学習に基づくマッチング分野における進歩を意味的に評価できる、質の高いベンチマークの使用を促進すること。

提案手法

• 理論的、事前測定として、候補ペアの分離可能性を定量化する新しい線形性スコアと、ERベンチマークに初めて適用された既存の複雑さ測定を提案。
• 実証的、事後測定として、最高の非線形マッチャと線形分類器の間の性能差、および最高の学習ベースマッチャと完全なオラクルの間の性能差を導入。
• 7つのオープンソースの非線形機械学習／深層学習ベースのマッチングアルゴリズムを採用し、単純なモデルの性能上限を推定するために新しい線形ベースラインを導入。
• 理論的および実践的評価指標を用いて、13の既存ベンチマークデータセットの難易度を分析。
• ブロッキング戦略とデータ特性のチューニングを通じて、4つの新しいより困難なマッチングタスクを体系的に生成。
• 完全な手法、コード、および新規データセットをDockerイメージを通じて公開し、再現可能性とコミュニティへの採用を確保。

Figure 1. Degree of linearity per dataset in Table 3 (left) and the respective threshold (right) with respect to Equations 1 and 2 .

実験結果

リサーチクエスチョン

• RQ1 理論的および実証的測定に基づいて、深層学習に基づくマッチングアルゴリズムの既存ベンチマークデータセットは、どれほど実際に困難であるか。
• RQ2 既存のベンチマークデータセットにおいて、線形マッチングアルゴリズムと非線形マッチングアルゴリズムの性能差はどのように変動するか。
• RQ3 現在のベンチマークデータセットにおいて、最先端の学習ベースマッチャは完全なオラクルの性能にどれほど近づいているか。
• RQ4 体系的な手法を用いて、複雑な非線形マッチングアルゴリズムを評価するのに適した新しいベンチマークデータセットを生成できるか。
• RQ5 深層学習に基づくマッチング手法の評価に不適切なデータセットの主な特徴は何か。

主な発見

• エンティティレゾリューションの広く使われているベンチマークデータセットの多くは、ほぼ線形分離可能であり、深層学習ベースのマッチングアルゴリズムが有意義な改善を示すにはあまりに簡単である。
• 既存の大多数のデータセットにおいて、最高の非線形マッチャと線形ベースラインとの間の性能差は非常に小さく、モデルの複雑さの向上の余地が限られていることを示している。
• 既存のベンチマークの多くにおいて、最高の学習ベースマッチャと完全なオラクルとの間の性能差は小さく、現在のデータセットが深層学習モデルの潜在的性能を十分に試験していないことを示唆している。
• 提案された手法により、複雑さが増し、線形性が低下した、はるかに困難な4つの新しいベンチマークデータセットが成功裏に生成された。
• 学習および予測時間には大きな差が見られた：しきい値ベースのベースラインは最も速く（1データセットあたり1秒未塔）、DITTOは最も遅く（40エポックで最大約219秒）なっており、効率性のトレードオフが顕在化している。
• 新しいベンチマークはより現実的な難易度分布を示しており、不均衡比が高く、非線形モデリングの需要がより高いため、今後の高度なマッチングアルゴリズムの評価に適している。

Figure 3. Practical measures per dataset in Table 3 .