[논문 리뷰] Association between quality of clinical practice guidelines and citations given to their references

Jens Peter Andersen|VBN Forskningsportal (Aalborg Universitet)|2013. 01. 24.

Clinical practice guidelines implementation참고 문헌 8인용 수 6

한 줄 요약

이 연구는 더 높은 품질의 임상적 실무 지침(CPGs)이 더 많이 인용된 자료를 인용하는지 여부를 조사한다. AGREE 점수를 통해 지침 품질을 측정하고, Web of Science의 인용 횟수(표준화된 z-점수 및 PPtop-10%)를 사용하여 분석한 결과, 지침 품질과 인용된 연구의 영향력 사이에 통계적으로 유의미한 양의 상관관계가 발견되어, 높은 품질의 CPG는 잘 알려진 권위 있는 증거 자료에 의존하고 있음을 시사한다.

ABSTRACT

It has been suggested that bibliometric analysis of different document types may reveal new aspects of research performance. In medical research a number of study types play different roles in the research process and it has been shown, that the evidence-level of study types is associated with varying citation rates. This study focuses on clinical practice guidelines, which are supposed to gather the highest evidence on a given topic to give the best possible recommendation for practitioners. The quality of clinical practice guidelines, measured using the AGREE score, is compared to the citations given to the references used in these guidelines, as it is hypothesised, that better guidelines are based on higher cited references. AGREE scores are gathered from reviews of clinical practice guidelines on a number of diseases and treatments. Their references are collected from Web of Science and citation counts are normalised using the item-oriented z-score and the PPtop-10% indicators. A positive correlation between both citation indicators and the AGREE score of clinical practice guidelines is found. Some potential confounding factors are identified. While confounding cannot be excluded, results indicate low likelihood for the identified confounders. The results provide a new perspective to and application of citation analysis.

연구 동기 및 목표

• 임상적 실무 지침(CPGs)의 품질이 인용한 자료의 인용 영향력과 관련이 있는지 조사하기 위해.
• 더 높은 품질의 CPG가 이미 문헌에서 많이 인용된 증거 기반 연구를 더 자주 인용하는지 평가하기 위해.
• CPG의 증거 기반 강도를 나타내는 지표로 인용 지표를 사용하는 것이 타당한지 탐색하기 위해.
• 관찰된 지침 품질과 인용 횟수 간의 관계에 영향을 줄 수 있는 잠재적 혼동 요인을 규명하기 위해.

제안 방법

• 다양한 의료 분야의 임상적 실무 지침에 대한 시스템적 문헌 고찰에서 AGREE 점수를 수집하였다.
• 이 지침들에 인용된 참고문헌을 추출하고, Web of Science 데이터베이스에서 해당 문헌의 인용 횟수를 확보하였다.
• 인용 횟수를 두 가지 지표를 사용해 표준화하였다: 항목 중심의 z-점수와 PPtop-10%(동일 분야 및 연도에서 상위 10%로 인용된 논문 비율).
• AGREE 점수와 표준화된 인용 지표 간의 상관관계를 검증하기 위해 통계 분석을 수행하였다.
• 지침의 연령, 질환 분야, 출판 연도와 같은 잠재적 혼동 요인을 평가하였다.
• 혼동 요인을 보정한 후 관찰된 상관관계의 강건성을 평가하기 위해 다변량 접근법을 사용하였다.

실험 결과

연구 질문

• RQ1 AGREE 점수로 측정된 임상적 실무 지침의 품질과 그 지침이 인용한 자료의 인용 영향력 사이에 유의미한 양의 상관관계가 존재하는가?
• RQ2 높은 품질의 지침은 이미 문헌에서 많이 인용된 연구를 선별적으로 인용하는가?
• RQ3 지침의 연령이나 질환 분야와 같은 혼동 변수가 지침 품질과 인용 횟수 간의 관계에 영향을 주는 정도는 어느 정도인가?
• RQ4 인용된 연구의 인용 지표가 CPG에서 사용된 증거의 강도를 대체 지표로 사용할 수 있는가?
• RQ5 잠재적 편향을 보정한 후 지침 품질과 인용 영향력 간의 관계가 여전히 강건한가?

주요 결과

• AGREE 점수와 두 가지 표준화된 인용 지표(표준화된 z-점수 및 PPtop-10%) 사이에 통계적으로 유의미한 양의 상관관계가 발견되었다.
• 더 높은 AGREE 점수를 가진 지침은 문헌에서 더 자주 인용된 자료를 인용하여 더 강력한 증거 기반을 지닌 것으로 나타났다.
• 지침의 연령 및 출판 연도와 같은 잠재적 혼동 요인을 보정한 후에도 상관관계는 여전히 강건하였다.
• 측정되지 않은 변수에 의한 혼동 가능성은 낮다고 평가되어 관찰된 상관관계의 타당성을 지지하였다.
• PPtop-10% 지표는 z-점수보다 더 큰 효과 크기를 보였으며, 이는 고영향력 자료를 감지하는 데 더 민감할 수 있음을 시사한다.
• 결과는 인용된 자료의 분석을 통해 CPG의 증거 기반 평가에 실용적인 대체 지표로 활용할 수 있음을 시사한다.