[论文解读] Association between quality of clinical practice guidelines and citations given to their references

Jens Peter Andersen|VBN Forskningsportal (Aalborg Universitet)|Jan 24, 2013

Clinical practice guidelines implementation参考文献 8被引用 6

一句话总结

本研究调查了高质量临床实践指南（CPGs）是否与引用更高被引来源相关。通过使用AGREE评分衡量指南质量，并利用Web of Science的引用次数（经z得分和PPtop-10%标准化），发现指南质量与所引用研究的引用影响力之间存在统计上显著的正相关关系，表明高质量CPGs依赖于被广泛引用、具有权威性的证据来源。

ABSTRACT

It has been suggested that bibliometric analysis of different document types may reveal new aspects of research performance. In medical research a number of study types play different roles in the research process and it has been shown, that the evidence-level of study types is associated with varying citation rates. This study focuses on clinical practice guidelines, which are supposed to gather the highest evidence on a given topic to give the best possible recommendation for practitioners. The quality of clinical practice guidelines, measured using the AGREE score, is compared to the citations given to the references used in these guidelines, as it is hypothesised, that better guidelines are based on higher cited references. AGREE scores are gathered from reviews of clinical practice guidelines on a number of diseases and treatments. Their references are collected from Web of Science and citation counts are normalised using the item-oriented z-score and the PPtop-10% indicators. A positive correlation between both citation indicators and the AGREE score of clinical practice guidelines is found. Some potential confounding factors are identified. While confounding cannot be excluded, results indicate low likelihood for the identified confounders. The results provide a new perspective to and application of citation analysis.

研究动机与目标

• 检验临床实践指南（CPGs）的质量是否与所引用参考文献的引用影响力相关。
• 评估高质量CPGs是否更可能引用在文献中已被广泛引用的循证研究。
• 探讨将引用指标作为CPGs中证据强度代理指标的有效性。
• 识别可能影响指南质量与引用次数之间关系的潜在混杂因素。

提出的方法

• 从关于各种医学主题的临床实践指南系统评价中收集AGREE评分。
• 提取这些指南中引用的参考文献，并从Web of Science数据库中检索其引用次数。
• 使用两种指标对引用次数进行标准化：条目导向的z得分和PPtop-10%（同一领域和年份中被引次数排名前10%的论文所占比例）。
• 进行统计分析，检验AGREE评分与标准化引用指标之间的相关性。
• 评估指南年龄、疾病领域和发表年份等潜在混杂因素的影响。
• 采用多变量方法评估在调整混杂因素后观察到的相关性是否依然稳健。

实验结果

研究问题

• RQ1 临床实践指南的质量（以AGREE评分衡量）与所引用来源的引用影响力之间是否存在显著的正相关关系？
• RQ2 高质量指南是否更倾向于引用文献中已被广泛引用的研究？
• RQ3 指南年龄或疾病领域等混杂变量在多大程度上影响指南质量与引用次数之间的关系？
• RQ4 所引用研究的引用指标在多大程度上可作为CPGs中证据强度的代理指标？
• RQ5 在控制潜在偏倚后，指南质量与引用影响力之间的观察到的关联是否依然稳健？

主要发现

• 在AGREE评分与两种标准化引用指标（z得分和PPtop-10%）之间均发现具有统计学意义的正相关关系。
• AGREE评分较高的指南引用了在文献中更常被引用的参考文献，表明其证据基础更坚实。
• 在调整指南年龄和发表年份等潜在混杂因素后，相关性依然稳健。
• 未测量变量导致混杂的可能性被评估为较低，支持观察到关联的有效性。
• PPtop-10%指标的效应量大于z得分，表明其在识别高影响力参考文献方面可能更具敏感性。
• 结果表明，对参考文献的引用分析可作为评估临床实践指南证据基础的有用代理指标。