[论文解读] Evaluating structure learning algorithms with a balanced scoring function

Anthony C. Constantinou|arXiv (Cornell University)|May 29, 2019

Bayesian Modeling and Causal Inference参考文献 145被引用 8

一句话总结

本文提出了平衡评分函数（BSF），这是一种新颖的评估指标，通过根据与真实图中边/无边的频率相比的难易程度调整奖励，纠正了现有结构学习算法评估中的偏差。BSF使贝叶斯网络和因果图发现算法的比较更加公平，减少了传统指标对过于简单、欠拟合结构的偏好。

ABSTRACT

Several structure learning algorithms have been proposed towards discovering causal or Bayesian Network (BN) graphs. The validity of these algorithms tends to be evaluated by assessing the relationship between the learnt and the ground truth graph. However, there is no agreed scoring metric to determine this relationship. Moreover, this paper shows that some of the commonly used metrics tend to be biased in favour of graphs that minimise edges. While graphs that are less complex are desirable, some of the metrics favour underfitted graphs, thereby encouraging limited propagation of evidence. This paper proposes the Balanced Scoring Function (BSF) that eliminates this bias by adjusting the reward function based on the difficulty of discovering an edge, or no edge, proportional to their occurrence rate in the ground truth graph. The BSF score can be used in conjunction with other traditional metrics to provide an alternative and unbiased assessment about the capability of a structure learning algorithm in discovering causal or BN graphs.

研究动机与目标

• 解决在贝叶斯网络和因果图中结构学习算法评估缺乏标准化、无偏评分指标的问题。
• 识别并纠正常见评估指标中对边数较少图的固有偏好，这种偏好导致模型欠拟合。
• 设计一种评分函数，根据在真实图中正确识别边或无边的难易程度动态调整奖励。
• 为评估结构学习算法的真实能力，提供一种可靠、平衡的传统指标替代方案。
• 通过反映现实图中边发现的实际难度，提高算法比较的有效性。

提出的方法

• 提出平衡评分函数（BSF），其评分基于真实图中边和无边的频率。
• 通过真实图中边或无边出现频率的倒数调整正确识别边或无边的奖励，降低对稀疏图的偏好。
• 将BSF与现有评估指标集成，为结构学习性能提供互补的、无偏的评估。
• 利用真实图中边和无边的相对频率，校准每个预测任务的难度。
• 将评分函数应用于多个具有已知真实图的基准数据集，比较结构学习算法的表现。
• 采用一种平衡的评估框架，通过奖励对常见和罕见边的准确恢复，惩罚过度简化。

实验结果

研究问题

• RQ1 传统评估指标在结构学习中为何系统性地偏好更简单、边数最少的图？
• RQ2 真实图中边的频率在多大程度上影响现有评分函数的公平性？
• RQ3 能否设计一种评分函数，以纠正结构学习评估中对稀疏图的偏好？
• RQ4 平衡评分函数如何提高贝叶斯网络发现中算法比较的可靠性？
• RQ5 BSF是否能更准确地反映算法在恢复因果或贝叶斯网络结构方面的真实能力？

主要发现

• F1分数和结构汉明距离等传统指标系统性地偏好边数较少的图，倾向于奖励欠拟合模型。
• 平衡评分函数通过根据真实图中边和无边的频率调整奖励，成功缓解了这一偏差。
• 此前因标准指标惩罚而得分较低的、产生更复杂且准确图的算法，在BSF下获得更高分，更真实地反映了其性能。
• BSF使结构学习算法的比较更加可靠和公平，尤其在真实图中边分布不均的情况下。
• 实证结果表明，BSF揭示了传统指标无法检测到的性能差异，特别是在恢复稀有但有意义的边方面。
• 所提出的评分函数为结构学习算法在发现因果和贝叶斯网络方面的能力提供了更平衡、更真实的评估。