[論文レビュー] The H-index can be easily manipulated

Bart de Keijzer, Krzysztof R. Apt|arXiv (Cornell University)|Apr 9, 2013

Semantic Web and Ontologies被引用数 8

ひとこと要約

この論文は、学術的インパクトを評価するための広く用いられる指標であるHインデックスが、Google Scholarのマージ操作を通じて簡単に操作可能であることを示している。研究者が複数の出版物を1つのエントリに統合する際、Hインデックスは容易に操作可能となる。Hインデックスの向上が多項式時間で解ける一方で、特定の目標Hインデックスを達成する問題は強くNP完全であることが判明し、戦略的操りの本質的な脆弱性が明らかになった。

ABSTRACT

We prove two complexity results about the H-index concerned with the Google scholar merge operation on one's scientific articles. The results show that, although it is hard to merge one's articles in an optimal way, it is easy to merge them in such a way that one's H-index increases. This suggests the need for an alternative scientific performance measure that is resistant to this type of manipulation.

研究の動機と目的

• Google Scholarのマージ操作を通じたHインデックスの操作の計算複雑性を調査すること。
• 類似した被引用回数を持つ出版物をマージすることで、研究者がHインデックスを戦略的に向上させられるかどうかを特定すること。
• マージを通じて特定の目標Hインデックスを達成できるかどうかの計算可能性または非計算可能性を評価すること。
• Hインデックスが操作に脆弱であることを露呈することで、その指標の信頼性を疑問視し、性能指標としての妥当性を揺るがすこと。
• このような操作に対して耐性を持つ代替指標の開発を促すこと。

提案手法

• 各出版物の被引用回数を表す多重集合として研究者の出版活動をモデル化する。
• Hインデックスを、少なくとも $ x $ 個の出版物がそれぞれ少なくとも $ x $ 回の被引用を受けるような最大の値 $ x $ として定義する。
• 各マージグループ $ T \in \tau' $ が合計被引用回数 $ \geq |\tau'| $ を満たすような「良い分割」$ \tau' \subseteq \mathcal{T} $ の概念を導入し、これにより少なくとも $ |\tau'| $ のHインデックスが達成可能であることを保証する。
• 分割 $ \mathcal{T} $ の最大の良い部分集合のサイズを表す $ v(\mathcal{T}) $ を定義し、マージによる達成可能な最大Hインデックスを表す。
• 単一の集合からなる分割 $ \bar{S} $ を用いて、マージ前の元のHインデックス $ v(\bar{S}) $ を表す。
• Hインデックス向上に寄与する可能性のある出版物を分類する集合 $ C_+ $, $ C $, $ L $ を分析することで、改善可能な分割（$ v(\mathcal{S}) > v(\bar{S}) $）の存在が多項式時間で判定可能であることを証明する。

実験結果

リサーチクエスチョン

• RQ1 研究者のHインデックスは、Google Scholarにおける出版物の戦略的マージによって向上させられるか？
• RQ2 特定の目標Hインデックスをマージによって達成できるかどうかを計算的に判定可能か？
• RQ3 マージ操作下でのHインデックス向上問題の計算複雑性は何か？
• RQ4 Hインデックスの向上と特定の目標Hインデックスの達成の間には、本質的な複雑性の違いがあるか？
• RQ5 Hインデックスは、マージのような単純な管理操作によって、どの程度操作に脆弱であるか？

主な発見

• Hインデックス向上問題（マージによってHインデックスを向上させられるかどうかを特定する問題）は多項式時間で解ける。
• 目標Hインデックス $ k $ を達成できるかどうかを問うHインデックス到達可能性問題は強くNP完全である。
• 被引用回数がすべて一進表記（unary）で表現されてもNP完全性の結果が成立するため、入力サイズの表現方法に関わらず問題が計算的に困難であることが示された。
• 改善可能な分割が存在するための必要十分条件は、$ L $（低被引用出版物）と $ C $（臨界の中程度被引用出版物）が互いに素であり、残りの被引用回数の合計が $ |C| + |C_+| $ を超えることである。
• NP困難性の証明は、強くNP完全な3分割問題（3-PARTITION problem）への多項式時間還元に基づくものであり、最適なHインデックス操作の非計算可能性を確立した。
• これらの結果は、Hインデックスの操作による向上は容易である一方で、最適または目標Hインデックスの達成は計算的に困難であることを示しており、指標としての信頼性が損なわれることを示唆している。