[論文レビュー] Evaluation of Protein-protein Interaction Predictors with Noisy Partially Labeled Data Sets

Haohan Wang, Madhavi K. Ganapathiraju|arXiv (Cornell University)|Sep 18, 2015

Bioinformatics and Genomic Networks参考文献 15被引用数 4

ひとこと要約

本稿では、陽性クラスの分布が偏っており、ノイズが多く部分的にラベルが付与されたデータセットに起因する偏りのあるPPI予測評価を是正するためのバランス評価手法を提案する。クラスの不均衡を無視することで生じる過大評価と、ランダムなネガティブサンプリングによる過小評価を是正することで、ゴールデンスタンダードのテストセットを必要とせずに正確な予測子の評価が可能となる。理論的分析と実験により検証された。

ABSTRACT

Protein-protein interaction (PPI) prediction is an important problem in machine learning and computational biology. However, there is no data set for training or evaluation purposes, where all the instances are accurately labeled. Instead, what is available are instances of positive class (with possibly noisy labels) and no instances of negative class. The non-availability of negative class data is typically handled with the observation that randomly chosen protein-pairs have a nearly 100% chance of being negative class, as only 1 in 1,500 protein pairs expected is expected to be an interacting pair. In this paper, we focused on the problem that non-availability of accurately labeled testing data sets in the domain of protein-protein interaction (PPI) prediction may lead to biased evaluation results. We first showed that not acknowledging the inherent skew in the interactome (i.e. rare occurrence of positive instances) leads to an over-estimated accuracy of the predictor. Then we show that, with the belief that positive interactions are a rare category, sampling random pairs of proteins excluding known interacting proteins set as the negative testing data set could lead to an under-estimated evaluation result. We formalized those two problems to validate the above claim, and based on the formalization, we proposed a balancing method to cancel out the over-estimation with under-estimation. Finally, our experiments validated the theoretical aspects and showed that this balancing evaluation could evaluate the exact performance without availability of golden standard data sets.

研究の動機と目的

• 正確にラベル付けされたネガティブインスタンスが欠如していることによるPPI予測子の偏った評価を是正すること。
• クラスの不均衡とランダムなネガティブサンプリングがPPI予測の性能指標にどのように歪みをもたらすかを分析すること。
• 希少な陽性相互作用を無視することで生じる過大評価と、既知の相互作用因子をネガティブセットから除外することで生じる過小評価を形式的に定式化すること。
• 過大評価と過小評価の効果を相殺するバランス手法を開発し、偏りのない評価を可能にすること。
• ゴールデンスタンダードのテストセットを必要とせずに、手法の有効性を検証すること。

提案手法

• インタラクトームにおけるクラスのスケーリングの影響を形式化し、陽性相互作用がまれ（1,500組に1組）であることを考慮して、不均衡を無視した場合の過大評価を定量化する。
• 既知の相互作用因子を除外したランダムなタンパク質ペアをネガティブテストセットとして使用する影響をモデル化し、これにより予測子の性能が過小評価されることを示す。
• 過大評価と過小評価の成分を組み合わせることでバイアスを相殺するバランス手法を提案する。
• 理論的導出を用いて、バランス手法が真の予測子性能の不偏推定をもたらすことを保証する。
• PPI予測タスクにおける実験を通じて、ベースライン評価と比較して手法を実証的に検証する。

実験結果

リサーチクエスチョン

• RQ1 PPIデータにおけるクラスの不均衡は、機械学習予測子の精度推定にどのように影響するか？
• RQ2 既知の相互作用因子を除外したランダムなタンパク質ペアをネガティブテストセットとして使用することは、性能の過小評価にどの程度寄与するか？
• RQ3 スケーリングを無視することで生じる過大評価と、ネガティブサンプリングによる過小評価を相殺するバランス手法を設計可能か？
• RQ4 ゴールデンスタンダードのテストセットが入手不可であっても、PPI予測子の偏りのない評価が可能か？
• RQ5 標準的な評価手法と比較して、提案手法は精度と信頼性の面でどのように異なるか？

主な発見

• 陽性相互作用の希少性を無視すると、PPI予測子の評価において過大評価が生じる。
• 既知の相互作用因子を除外したランダムなタンパク質ペアをネガティブインスタンスとして使用すると、性能指標が過小評価される。
• 提案されたバランス手法は、過大評価と過小評価の効果を効果的に相殺し、偏りのない評価を達成した。
• 完全にラベル付けされたゴールデンスタンダードのテストセットを必要とせずに、正確な性能評価が可能となった。
• 実験的検証により理論的主張が確認され、バランス手法が真の予測子性能を的確に反映していることが示された。