[论文解读] Evaluation of Protein-protein Interaction Predictors with Noisy Partially Labeled Data Sets

Haohan Wang, Madhavi K. Ganapathiraju|arXiv (Cornell University)|Sep 18, 2015

Bioinformatics and Genomic Networks参考文献 15被引用 4

一句话总结

本文提出一种平衡评估方法，以解决由于噪声数据、部分标注数据集及正类分布偏斜导致的蛋白质-蛋白质相互作用（PPI）预测中性能评估偏差的问题。通过抵消忽略类别不平衡导致的过度估计和随机负样本采样导致的低估，该方法可在无需黄金标准测试集的情况下实现准确的预测器评估，经由理论分析与实验验证。

ABSTRACT

Protein-protein interaction (PPI) prediction is an important problem in machine learning and computational biology. However, there is no data set for training or evaluation purposes, where all the instances are accurately labeled. Instead, what is available are instances of positive class (with possibly noisy labels) and no instances of negative class. The non-availability of negative class data is typically handled with the observation that randomly chosen protein-pairs have a nearly 100% chance of being negative class, as only 1 in 1,500 protein pairs expected is expected to be an interacting pair. In this paper, we focused on the problem that non-availability of accurately labeled testing data sets in the domain of protein-protein interaction (PPI) prediction may lead to biased evaluation results. We first showed that not acknowledging the inherent skew in the interactome (i.e. rare occurrence of positive instances) leads to an over-estimated accuracy of the predictor. Then we show that, with the belief that positive interactions are a rare category, sampling random pairs of proteins excluding known interacting proteins set as the negative testing data set could lead to an under-estimated evaluation result. We formalized those two problems to validate the above claim, and based on the formalization, we proposed a balancing method to cancel out the over-estimation with under-estimation. Finally, our experiments validated the theoretical aspects and showed that this balancing evaluation could evaluate the exact performance without availability of golden standard data sets.

研究动机与目标

• 解决由于缺乏准确标注的负样本实例而导致的PPI预测器评估偏差。
• 分析类别不平衡和随机负样本采样如何扭曲PPI预测中的性能度量。
• 形式化忽略稀有正相互作用导致的过度估计，以及排除已知相互作用蛋白对导致的低估。
• 开发一种平衡方法，以抵消过度估计和低估效应，实现无偏评估。
• 在无需黄金标准测试集的前提下，验证该方法的有效性。

提出的方法

• 形式化互作组中类别偏斜的影响，其中正相互作用稀少（每1,500对蛋白中仅1对），以量化忽略不平衡时导致的过度估计。
• 建模使用随机蛋白对（排除已知相互作用蛋白）作为负样本测试集的影响，表明这将导致预测器性能的低估。
• 提出一种平衡方法，通过组合过度估计和低估估计分量以抵消偏差。
• 通过理论推导确保该平衡方法能提供对真实预测器性能的无偏估计。
• 通过PPI预测任务的实验对方法进行实证验证，将结果与基线评估方法进行比较。

实验结果

研究问题

• RQ1 PPI数据中的类别不平衡在多大程度上影响机器学习预测器的准确率估计？
• RQ2 将随机蛋白对（排除已知相互作用蛋白）用作负样本测试集，会在多大程度上导致性能低估？
• RQ3 能否设计一种平衡方法，以抵消忽略类别偏斜导致的过度估计和负样本采样导致的低估？
• RQ4 是否可能在不依赖黄金标准测试集的情况下实现PPI预测器的无偏评估？
• RQ5 与标准评估实践相比，所提出的平衡方法在准确性和可靠性方面表现如何？

主要发现

• 忽略正相互作用的稀有性会导致PPI预测器评估中的准确率被高估。
• 将随机蛋白对（排除已知相互作用蛋白）作为负样本实例，会导致性能度量被低估。
• 所提出的平衡方法成功抵消了过度估计和低估效应，实现了无偏评估。
• 该方法可在无需完全标注的黄金标准测试集的情况下实现准确的性能评估。
• 实验验证证实了理论假设，表明该平衡方法能真实反映预测器的实际性能。