[논문 리뷰] Percentile rank scores are congruous indicators of relative performance, or aren't they?

Ronald Rousseau|arXiv (Cornell University)|2011. 08. 09.

Multi-Criteria Decision Making참고 문헌 23인용 수 8

한 줄 요약

이 논문은 적절히 정의된 경우 백분위수 순위 점수가 상대적 성과를 일관된 지표로 제공함을 주장하며, 그 적용에 대한 모호함을 해결한다. 백분위수 순위는 상대적 성과에 대해 일관된 지표임을 입증하고, I3 지표는 절대적 성과에 대해 엄격히 일관된 지표임을 밝혀, 정보학 평가 지표의 개념적 차이를 명확히 한다.

ABSTRACT

Percentile ranks and the I3 indicator were introduced by Bornmann, Leydesdorff, Mutz and Opthof. These two notions are based on the concept of percentiles (or quantiles) for discrete data. As several definitions for these notions exist we propose one that we think is suitable in this context. Next we show that if the notion of relative congruous indicators is carefully defined then percentile rank scores are congruous indicators of relative performance. The I3 indicator is a strictly congruous indicator of absolute performance.

연구 동기 및 목표

• 성과 평가에서 백분위수 순위 점수의 정의와 적용에 대한 모호함을 해소하기 위해.
• 정보학에서 상대적 성과 지표와 절대적 성과 지표 간의 개념적 차이를 명확히 하기 위해.
• 이산 데이터 및 백분위수의 맥락에서 '일관된 지표'를 공식적으로 정의하기 위해.
• 적절히 정의된 프레임워크 하에서 백분위수 순위 점수가 상대적 성과에 대해 일관된 지표임을 입증하기 위해.
• I3 지표의 절대적 성과에 대한 엄격한 일관성과 백분위수 순위의 상대적 일관성 간 비교를 위해.

제안 방법

• 이산 데이터에 대한 백분위수의 구체적 정의를 제안하여 적용의 일관성을 확보한다.
• 상대적 성과 및 절대적 성과의 맥락에 맞게 조정된 '일관된 지표'의 공식적 프레임워크를 도입한다.
• 프레임워크를 적용하여 백분위수 순위와 I3 지표의 수학적 및 개념적 성질을 분석한다.
• 논리적 및 통계적 추론을 통해 백분위수 순위가 적절히 정의된 경우 상대적 성과와 일치함을 보여준다.
• I3 지표의 엄격한 일관성과 백분위수 순위의 상대적 일관성 간 대비를 한다.
• 개념적 타당성을 확립하기 위해 실증 데이터 대신 이론적 분석을 사용한다.

실험 결과

연구 질문

• RQ1 적절히 정의된 분위수 프레임워크 하에서 백분위수 순위 점수가 상대적 성과의 일관된 지표인가?
• RQ2 상대적 성과와 절대적 성과 간 일관된 지표 개념은 어떻게 다를까?
• RQ3 정보학적 평가에서 상대적 성과 평가에 사용하기에 가장 적합한 백분위수 순위의 정의는 무엇인가?
• RQ4 왜 I3 지표는 절대적 성과에 대해 엄격히 일관되지만 상대적 성과에는 그렇지 않은가?
• RQ5 일관되고 수학적으로 타당한 백분위수 순위의 정의가 성과 평가의 모호함을 해결할 수 있는가?

주요 결과

• 일관된 이산 데이터에 대한 백분위수 정의가 적용될 경우, 백분위수 순위 점수는 상대적 성과의 일관된 지표가 된다.
• I3 지표는 절대적 성과에 대해 엄격히 일관되며, 성과 차이의 크기를 정확히 반영함을 의미한다.
• 논문은 일관성이 백분위수의 적절한 정의에 달려 있으며, 특히 이산 데이터 맥락에서 중요하다고 규명한다.
• 이전 백분위수 순위 적용 시 발생한 이질성은 일관되지 않거나 모호한 정의에서 기인한다.
• 일관성의 공식적 정의가 이루어질 경우, 상대적 성과 지표와 절대적 성과 지표 간의 차이는 개념적으로 및 수학적으로 타당하다.
• 제안된 프레임워크는 정보학에서 백분위수 순위를 성과 지표로 해석하는 데 발생하는 모호함을 해결한다.