[논문 리뷰] Evaluation of Protein-protein Interaction Predictors with Noisy Partially Labeled Data Sets

Haohan Wang, Madhavi K. Ganapathiraju|arXiv (Cornell University)|2015. 09. 18.

Bioinformatics and Genomic Networks참고 문헌 15인용 수 4

한 줄 요약

이 논문은 단백질-단백질 상호작용(PPI) 예측에서 노이즈가 많고 부분적으로 레이블이 붙은 데이터셋으로 인해 긍정 클래스 분포가 비대칭적인 경우 발생하는 편향된 성능 평가 문제를 해결하기 위해 균형 잡힌 평가 방법을 제안한다. 클래스 불균형을 忽시할 경우 발생하는 과도한 추정과 무작위 음성 샘플링으로 인한 부족한 추정을 상쇄함으로써, 황금 표준 테스트 세트가 없더라도 정확한 예측기 평가가 가능하게 한다. 이는 이론적 분석과 실험을 통해 검증되었다.

ABSTRACT

Protein-protein interaction (PPI) prediction is an important problem in machine learning and computational biology. However, there is no data set for training or evaluation purposes, where all the instances are accurately labeled. Instead, what is available are instances of positive class (with possibly noisy labels) and no instances of negative class. The non-availability of negative class data is typically handled with the observation that randomly chosen protein-pairs have a nearly 100% chance of being negative class, as only 1 in 1,500 protein pairs expected is expected to be an interacting pair. In this paper, we focused on the problem that non-availability of accurately labeled testing data sets in the domain of protein-protein interaction (PPI) prediction may lead to biased evaluation results. We first showed that not acknowledging the inherent skew in the interactome (i.e. rare occurrence of positive instances) leads to an over-estimated accuracy of the predictor. Then we show that, with the belief that positive interactions are a rare category, sampling random pairs of proteins excluding known interacting proteins set as the negative testing data set could lead to an under-estimated evaluation result. We formalized those two problems to validate the above claim, and based on the formalization, we proposed a balancing method to cancel out the over-estimation with under-estimation. Finally, our experiments validated the theoretical aspects and showed that this balancing evaluation could evaluate the exact performance without availability of golden standard data sets.

연구 동기 및 목표

• 정확하게 레이블이 붙지 않은 음성 인스턴스가 부족한 상황에서 PPI 예측기의 편향된 평가를 해결하기 위해.
• PPI 예측에서 클래스 불균형과 무작위 음성 샘플링이 성능 지표에 어떻게 왜곡을 초래하는지 분석하기 위해.
• 희귀한 양성 상호작용을 忽시할 경우 발생하는 과도한 추정과 음성 집합에서 알려진 상호작용자를 제외함으로써 발생하는 부족한 추정을 수식적으로 정의하기 위해.
• 과도한 추정과 부족한 추정의 효과를 상쇄시키는 균형 잡힌 방법을 개발하여 편향 없는 평가를 가능하게 하기 위해.
• 황금 표준 테스트 세트가 필요 없이도 방법의 효과성을 검증하기 위해.

제안 방법

• 상호작용체계에서 긍정 상호작용이 희귀한(1,500개의 쌍 중 1개) 클래스 편향의 영향을 수식적으로 정의하여, 불균형을 忽시할 경우 발생하는 과도한 추정을 정량화하기 위해.
• 기존 상호작용자를 제외한 무작위 단백질 쌍을 음성 테스트 세트로 사용할 경우의 영향을 모델링하여, 이로 인해 예측기 성능이 부족하게 평가됨을 보여주기 위해.
• 과도한 추정과 부족한 추정 성분을 조합하여 편향을 상쇄시키는 균형 잡힌 방법을 제안하기 위해.
• 이론적 유도를 통해 균형 잡힌 방법이 진정한 예측기 성능을 편향 없이 추정할 수 있음을 보장하기 위해.
• 기본 평가 방식과의 비교를 통해 PPI 예측 과제에서의 실험을 통해 방법을 실증적으로 검증하기 위해.

실험 결과

연구 질문

• RQ1 PPI 데이터의 클래스 불균형은 기계학습 예측기의 정확도 추정에 어떻게 영향을 미치는가?
• RQ2 기존 상호작용자를 제외한 무작위 단백질 쌍을 음성 테스트 세트로 사용할 경우, 성능이 얼마나 과소 평가되는가?
• RQ3 클래스 불균형 忽시로 발생하는 과도한 추정과 음성 샘플링으로 인한 부족한 추정을 상쇄시키는 균형 잡힌 방법을 설계할 수 있는가?
• RQ4 황금 표준 테스트 세트가 없이도 PPI 예측기의 편향 없는 평가가 가능한가?
• RQ5 기본 평가 관행과 비교했을 때 제안된 균형 잡힌 방법은 정확도와 신뢰성 측면에서 어떻게 다른가?

주요 결과

• 희귀한 양성 상호작용의 존재를 忽시할 경우 PPI 예측기 평가에서 정확도가 과도하게 추정된다.
• 기존 상호작용자를 제외한 무작위 단백질 쌍을 음성 인스턴스로 사용할 경우 성능 지표가 과소 평가된다.
• 제안된 균형 잡힌 방법은 과도한 추정과 부족한 추정 효과를 성공적으로 상쇄시켜 편향 없는 평가를 가능하게 한다.
• 이 방법을 통해 완전히 레이블이 붙은 황금 표준 테스트 세트가 없더라도 정확한 성능 평가가 가능하다.
• 실험적 검증을 통해 이론적 주장이 확인되었으며, 이는 균형 잡힌 방법이 진정한 예측기 성능을 잘 반영하고 있음을 보여준다.