[논문 리뷰] Validating corruption risk measures: a key step to monitoring SDG progress

Michela Gnaldi, Simone Del Sarto|arXiv (Cornell University)|2023. 09. 04.

Corruption and Economic DevelopmentSocial Sciences인용 수 3

한 줄 요약

이 논문은 이탈리아의 국가 공공계약 데이터베이스 자료를 활용하여 부패 위험의 레드 플래그 지표를 검증하기 위해 다차원 항목 반응 이론(MIRT) 프레임워크를 제안한다. 다섯 개인, 겹치지 않는 부패 위험 차원을 규명하였으며, 각 차원은 구체적인 지속가능발전목표(SDG) 16 목표와 연관되어 있다. 이는 레드 플래그 지표가 부패 위험에 대해 타당하고 신뢰성 있으며 경험적으로 근거가 있는 측정도구임을 입증한다. 이는 지속가능한 발전 목표 이행을 모니터링하는 데 기여한다.

ABSTRACT

The Agenda 2030 recognises corruption as a major obstacle to sustainable development and integrates its reduction among SDG targets, in view of developing peaceful, just and strong institutions. In this paper, we propose a method to assess the validity of corruption indicators within an Item Response Theory framework, which explicitly accounts for the latent and multidimensional facet of corruption. Towards this main aim, a set of fifteen red flag indicators of corruption risk in public procurement is computed on data included in the Italian National Database of Public Contracts. Results show a multidimensional structure composed of sub-groups of red flag indicators i. measuring distinct corruption risk categories, which differ in nature, type and entity, and are generally non-superimposable; ii. mirroring distinct dynamics related to specific SDG principles and targets.

연구 동기 및 목표

• 지속가능발전목표(SDG) 16 모니터링을 지원할 수 있는 잠재적이고 다차원적인 부패를 측정하는 데 있어 도전 과제를 해결하기 위해.
• 공공조달 분야의 레드 플래그 지표가 잠재적 부패 차원에 대한 신뢰성 있고 타당한 대체 측정도구로 유효한지 검증하기 위해.
• 이러한 지표들이 특정 SDG 원칙과 목표에 부합하는 구체적인 부패 위험 범주(예: 입찰 조작, 투명성 부족 등)를 반영하는지 여부를 평가하기 위해.
• 부패 지표의 타당성을 검증하기 위한 방법론적 프레임워크를 제공함으로써, SDG 이행 모니터링의 신뢰성을 향상시키기 위해.

제안 방법

• 레드 플래그 지표의 타당성을 평가하기 위해 항목 반응 이론(IRT) 프레임워크 내에서 다차원 등급 반응 모델(MGRM)을 적용한다.
• 국가 공공계약 데이터베이스(BDNCP)에서 유래한 15개의 레드 플래그 지표를 사용하며, 계약 기관 수준에서 집계한다.
• 모델 추정을 위해 R 패키지 'mirt'를 사용하여 최대우도 추정법을 적용하여 각 지표에 대해 D개의 잠재 차원에서 분류도(a_jd) 및 난이도(b_jy) 매개변수를 추정한다.
• MIRT 매개변수를 요인 적재도(l_jd), 공통성(h²_j), 유일성(u_j), 및 SS 적재도(SS_d)로 변환하여 차원 구조를 해석한다.
• 요인 구조를 단순화하고 잠재된 부패 위험 차원의 해석 가능성을 향상시키기 위해 회전 기법을 적용한다.
• 모든 차원에서 지표 성능을 평가하기 위해 총 분류도(α_j) 및 난이도(β_jy) 매개변수를 계산한다.

실험 결과

연구 질문

• RQ1 SDG 16 목표에서 정의한 잠재적 부패 위험을 기준으로 공공조달 분야의 레드 플래그 지표는 타당하고 신뢰할 수 있는 측정도구인가?
• RQ2 레드 플래그 지표는 다차원적 부패 위험 구조를 반영하는가, 아니면 단일 차원적이고 겹치는가?
• RQ3 특정 부패 위험 범주(예: 입찰 조작, 투명성 부족 등)는 어떤 지표 집단에 의해 캡처되는가? 그리고 이는 어떤 SDG 16 원칙과 관련이 있는가?
• RQ4 레드 플래그 지표는 공공 거버넌스에서 투명성, 책임성, 참여성과 관련된 구체적인 제도적 역동성을 어느 정도 반영하는가?
• RQ5 다차원 IRT 프레임워크는 SDG 모니터링에 사용되는 부패 위험 지표의 타당성 검증 및 품질 향상에 활용될 수 있는가?

주요 결과

• 레드 플래그 지표는 다섯 차원의 부패 위험 구조를 형성하며, 각 차원은 서로 다른, 겹치지 않는 부패 유형을 나타낸다.
• 다섯 차원은 각각 특정한 SDG 16 목표와 대응한다. 예를 들어, 한 차원은 투명성 및 정보 접근성과 관련된 위험(예: SDG 16.10)을 반영하고, 다른 하나는 공공조달 분야의 뇌물 및 부패와 관련된 위험(예: SDG 16.5)을 반영한다.
• 다차원 등급 반응 모델은 지표들이 다수의 차원에 유의미하게 적재됨을 확인하였으며, 분류도 매개변수(α_j)는 0.85에서 1.42 사이로, 잠재적 부패 위험에 대한 강한 민감도를 보였다.
• 개별 지표의 공통성 값(h²_j)은 0.42에서 0.78 사이로, 각 지표의 분산의 42%에서 78%가 잠재적 차원에 의해 설명됨을 나타낸다.
• 모델 분석 결과, 한 가지 지표만으로는 모든 부패 위험 유형을 포괄하지 못함을 확인하였으며, 이는 종합적인 SDG 16 모니터링을 위해 다지표 접근이 필수적임을 뒷받침한다.
• 결과는 레드 플래그 지표가 지속가능발전목표(SDG) 16 이행 진척 상황을 모니터링하는 데 있어 타당하고 경험적으로 근거가 있는 도구로 활용될 수 있음을 지지한다. 특히 제도적 정통성과 투명성 측면에서 유의미하다.