[논문 리뷰] The H-index can be easily manipulated

Bart de Keijzer, Krzysztof R. Apt|arXiv (Cornell University)|2013. 04. 09.

Semantic Web and Ontologies인용 수 8

한 줄 요약

이 논문은 학술 영향력을 평가하는 데 널리 사용되는 H-지표—Google Scholar의 병합 기능을 통해 쉽게 조작될 수 있음을 입증한다. 연구자들은 동일한 인용 수를 가진 논문들을 하나의 항목으로 통합함으로써 H-지표를 조작할 수 있다. H-지표를 향상시키는 것이 다항시간 내에 해결 가능하나, 특정 목표 H-지표를 달성하는 것은 강한 NP-완전성을 가지며, 이는 전략적 조작에 대한 본질적인 취약성을 드러낸다.

ABSTRACT

We prove two complexity results about the H-index concerned with the Google scholar merge operation on one's scientific articles. The results show that, although it is hard to merge one's articles in an optimal way, it is easy to merge them in such a way that one's H-index increases. This suggests the need for an alternative scientific performance measure that is resistant to this type of manipulation.

연구 동기 및 목표

• Google Scholar의 병합 기능을 통한 H-지표 조작의 계산 복잡도를 조사하기 위해.
• 유사한 인용 수를 가진 논문들을 병합함으로써 연구자가 자신의 H-지표를 전략적으로 높일 수 있는지 판단하기 위해.
• 병합을 통해 특정 목표 H-지표를 달성하는 것이 계산적으로 가능하거나 비가능한지 평가하기 위해.
• H-지표가 조작에 취약함을 폭 드러내어 그 신뢰성에 의문을 제기하기 위해.
• 이러한 조작에 저항하는 특성을 가진 대체 지표의 개발을 촉진하기 위해.

제안 방법

• 각 요소가 논문의 인용 수를 나타내는 다중집합으로 연구자의 논문 출판 성과를 모델링한다.
• H-지표를 최대값 $ x $로 정의한다. 이는 적어도 $ x $편의 논문이 각각 최소 $ x $건의 인용을 받는 조건을 만족한다.
• 병합된 그룹 $ T \in \tau' $의 총 인용 수가 $ |\tau'| $ 이상인 '좋은 분할' $ \tau' \subseteq \mathcal{T} $의 개념을 도입한다. 이는 최소 $ |\tau'| $의 H-지표 달성을 가능하게 한다.
• 분할 $ \mathcal{T} $에 대해 $ v(\mathcal{T}) $를 $ \mathcal{T} $의 가장 큰 양호한 부분집합의 크기로 정의한다. 이는 병합을 통해 달성 가능한 최대 H-지표를 나타낸다.
• 원래의 H-지표 $ v(\bar{S}) $를 나타내기 위해 단일 원소 집합으로 이루어진 분할 $ \bar{S} $를 사용한다.
• H-지표 향상에 기여하는 잠재적 집합 $ C_+ $, $ C $, $ L $을 분석함으로써, 개선 가능한 분할이 존재하는지 다항시간 내에 결정 가능함을 증명한다.

실험 결과

연구 질문

• RQ1 연구자가 Google Scholar에서 논문을 전략적으로 병합함으로써 자신의 H-지표를 높일 수 있는가?
• RQ2 특정 목표 H-지표를 병합을 통해 달성할 수 있는지 계산적으로 가능할 수 있는가?
• RQ3 병합 연산 하에서 H-지표 향상 문제의 계산 복잡도는 무엇인가?
• RQ4 H-지표 향상과 특정 목표 H-지표 달성 간의 복잡도에 본질적인 차이가 있는가?
• RQ5 H-지표는 병합과 같은 단순한 관리 조치로 얼마나 조작에 취약한가?

주요 결과

• H-지표 향상 문제—즉, 병합을 통해 연구자의 H-지표를 높일 수 있는지 여부를 판단하는 문제—는 다항시간 내에 해결 가능하다.
• 목표 H-지표 $ k $를 달성할 수 있는지 묻는 H-지표 달성 문제는 강한 NP-완전성을 가진다.
• NP-완전성 결과는 모든 인용 수가 16진수 표현으로 표현되더라도 유지되며, 이는 입력 크기 표현 방식과 관계없이 문제의 비가역성이 계속됨을 시사한다.
• 개선 가능한 분할이 존재하는 것은, 집합 $ L $ (낮은 인용 수 논문) 이 $ C $ (중간 인용 수의 핵심 논문) 와 서로소이며, 나머지 인용 수의 합이 $ |C| + |C_+| $ 를 초과할 때에만 성립한다.
• NP-난이도 증명은 강한 NP-완전성 문제인 3-PARTITION 문제로부터 다항시간 내의 환원을 통해 이루어지며, 최적의 H-지표 조작이 비가역적임을 입증한다.
• 결과적으로, H-지표를 높이기 위한 조작은 쉽게 수행될 수 있지만, 최적 또는 목표 H-지표를 달성하는 것은 계산적으로 매우 어렵기 때문에, 이 지표가 성과 지표로서의 신뢰성을 약화시킨다.