[논문 리뷰] krippendorffsalpha: An R Package for Measuring Agreement Using Krippendorff's Alpha Coefficient

John P. Hughes|arXiv (Cornell University)|2021. 03. 22.

Reliability and Agreement in Measurement인용 수 6

한 줄 요약

이 논문은 명목척도, 서열척도, 간격척도, 비율척도 수준에서 평가자 간 일치도를 측정하는 크립펜도프의 알파 계수를 구현한 R 패키지 krippendorffsalpha를 소개한다. 이 패키지는 사용자 정의 거리 함수, 병렬화된 부트스트랩 추론, 진단을 위한 S3 메서드를 지원하여 강력하고 유연한 일치도 분석을 가능하게 하며, 고관절 연골에서의 원시 및 대조증강 T2* 자기공명영상 측정치 간 거의 완벽한 일치(α = 0.84)를 보여줌으로써 구리늄 기반 대조제의 사용 감소 가능성을 시사한다.

ABSTRACT

R package krippendorffsalpha provides tools for measuring agreement using Krippendorff's Alpha coefficient, a well-known nonparametric measure of agreement (also called inter-rater reliability and various other names). This article first develops Krippendorff's Alpha in a natural way, and situates Alpha among statistical procedures. Then the usage of package krippendorffsalpha is illustrated via analyses of two datasets, the latter of which was collected during an imaging study of hip cartilage. The package permits users to apply the Alpha methodology using built-in distance functions for the nominal, ordinal, interval, or ratio levels of measurement. User-defined distance functions are also supported. The fitting function can accommodate any number of units, any number of coders, and missingness. Bootstrap inference is supported, and the bootstrap computation can be carried out in parallel.

연구 동기 및 목표

• 기존 R 패키지에서 크립펜도프의 알파를 계산할 때의 한계, 즉 사용자 정의 거리 함수 부재 및 효율적인 부트스트랩 계산의 부재를 해결하기 위해.
• 평가자 간 일치도를 위한 주요 척도 수준(명목척도, 서열척도, 간격척도, 비율척도)을 모두 지원하는 종합적이고 사용자 友好的인 R 패키지를 제공하기 위해.
• 진행 상황 추적 및 신뢰구간 추정 기능을 갖춘 병렬화된, 쉽게 병렬화 가능한 부트스트랩 샘플링을 통한 강력한 통계적 추론을 가능하게 하기 위해.
• 투명한 모델 평가를 위한 영향 분석 및 S3 메서드(confint, summary, plot)와 같은 진단 도구를 지원하기 위해.
• 실제 임상 MRI 연구를 통해 패키지의 실용성을 입증하기 위해, 고관절 연골 T2* 측정치에 대한 임상 연구를 포함한다.

제안 방법

• 패키지는 코더의 평가 간 차이를 기반으로 하는 비모수적 프레임워크를 사용하여 크립펜도프의 알파를 구현하며, 내장 및 사용자 정의 거리 함수를 통해 척도 수준에 따라 일반화된다.
• 임의의 수의 코더와 단위를 지원하며, 값이 NA일 경우 거리를 0으로 설정하여 결측치를 처리하고, 모든 척도 수준에서 일관된 공식을 사용한다.
• 부트스트랩 추론은 SOCK, PVM, MPI 또는 NWS 방식을 사용한 병렬 계산을 통해 구현되며, 사용자가 부트스트랩 반복 횟수와 병렬 노드 수를 제어할 수 있다.
• 패키지는 R의 S3 관례를 준수하며, 요약, confint, plot, 영향도 분석 등의 메서드를 제공하여 모델 진단 및 해석을 지원한다.
• 알파의 매개변수적 기원은 일원 혼합 효과 분산분석 모델에서 유도되며, 알파가 내적 상관계수임을 보여주고, 비모수적 및 코풀라 기반 형태(Sklar의 ω)로 일반화된다.
• 사용자는 사용자 정의 거리 함수(예: L1 노름)를 정의하고, 그 영향을 MRI 데이터에서의 일치도 추정치에 미치는 영향을 테스트할 수 있으며, 이는 MRI 데이터에서 L1 거리 함수 적용 사례로 확인된다.

실험 결과

연구 질문

• RQ1 R에서 다양한 척도 수준에서 크립펜도프의 알파를 효율적이고 민감하게 계산할 수 있는 방법은 무엇인가?
• RQ2 내장된 거리 함수와 병렬 부트스트랩을 갖춘 전용 R 패키지가 기존 대안 대비 가지는 장점은 무엇인가?
• RQ3 거리 함수의 선택(예: 제곱차이 대비 절대차이)이 실제 데이터에서 일치도 해석에 미치는 영향은 어떠한가?
• RQ4 결측치가 있는 경우 크립펜도프의 알파를 신뢰성 있게 추정할 수 있으며, 이는 자기공명영상에서 대조제 사용 감소와 같은 임상적 결정에 영향을 줄 수 있는가?
• RQ5 패키지의 부트스트랩 추론은 다른 접근 방식과 비교해 성능과 정확도 면에서 어떻게 다른가?

주요 결과

• krippendorffsalpha 패키지는 명목척도, 서열척도, 간격척도, 비율척도 수준을 포함한 내장된 지원과 사용자 정의 거리 함수를 통해 크립펜도프의 알파를 성공적으로 계산한다.
• 고관절 연골 MRI 데이터셋에서 간격척도 거리 함수를 적용한 결과, α = 0.8369이며 95% 부트스트랩 신뢰구간은 (0.808, 0.8648)로, 원시 및 대조증강 T2* 측정치 간 거의 완벽한 일치를 나타낸다.
• L1 거리 함수를 적용한 결과, 일치도는 유의미하게 감소하여 α = 0.6125(95% CI: 0.5761–0.648)로, 중간 수준에서 다소 높은 일치도를 나타내며, 알파가 거리 척도 선택에 민감함을 시사한다.
• 패키지의 병렬화된 부트스트랩 계산은 3개의 노드에서 10,000회 반복을 5초 내에 완료하여 대규모 추론에 대한 효율적 확장성을 입증한다.
• 영향도 분석 및 S3 메서드를 통해 영향력 있는 단위와 코더를 식별할 수 있었으며, 일치도 평가의 강건성 검증에 기여했다.
• 결과적으로, T2*-기반 연골 평가에서 구리늄 기반 대조제가 불필요할 수 있으며, 환자 위험 감소 측면에서 임상적 이점이 있을 것으로 보인다.