[논문 리뷰] 729 new measures of economic complexity (Addendum to Improving the Economic Complexity Index)

Saleh Albeaik, Mary Kaltenberg외 2명|arXiv (Cornell University)|2017. 08. 09.

Economic and Technological Innovation참고 문헌 12인용 수 14

한 줄 요약

이 논문은 기존 2009년 ECI와 2012년 변형 버전의 대체 기능 형태를 체계적으로 탐색함으로써 경제 복잡성 지수(ECI)의 새로운 729가지 변형을 제안한다. 이 중 28퍼센트 이상이 최고 성능을 보인 버전의 90퍼센트 내에서 예측 성능을 달성하며, 수출 기반 경제 복잡성 측정법의 예측 성공이 다양한 형태에 걸쳐 뚜렷하게 유지됨을 보여주어, 지표 자체의 추가 개선이 상당한 성과를 내기 어렵다는 것을 시사한다.

ABSTRACT

Recently we uploaded to the arxiv a paper entitled: Improving the Economic Complexity Index. There, we compared three metrics of the knowledge intensity of an economy, the original metric we published in 2009 (the Economic Complexity Index or ECI), a variation of the metric proposed in 2012, and a variation we called ECI+. It was brought to our attention that the definition of ECI+ was equivalent to the variation of the metric proposed in 2012. We have verified this claim, and found that while the equations are not exactly the same, they are similar enough to be our own oversight. More importantly, we now ask: how many variations of the original ECI work? In this paper we provide a simple unifying framework to explore multiple variations of ECI, including both the original 2009 ECI and the 2012 variation. We found that a large fraction of variations have a similar predictive power, indicating that the chance of finding a variation of ECI that works, after the seminal 2009 measure, are surprisingly high. In fact, more than 28 percent of these variations have a predictive power that is within 90 percent of the maximum for any variation. These findings show that, once the idea of measuring economic complexity was out, creating a variation with a similar predictive power (like the ones proposed in 2012) was trivial (a 1 in 3 shot). More importantly, the result show that using exports data to measure the knowledge intensity of an economy is a robust phenomenon that works for multiple functional forms. Moreover, the fact that multiple variations of the 2009 ECI perform close to the maximum, tells us that no variation of ECI will have a performance that is substantially better. This suggests that research efforts should focus on uncovering the mechanisms that contribute to the diffusion and accumulation of productive knowledge instead of on exploring small variations to existing measures.

연구 동기 및 목표

• 다양한 형태의 경제 복잡성 지수(ECI) 변형이 예측 성능을 유지하는 정도를 조사하는 것.
• ECI+ 변형과 2012년 ECI 변형 간의 동치성에 대한 혼동을 해결하고, 이들이 수학적으로 유사함을 확인하는 것.
• 다양한 ECI 변형을 생성하고 평가하기 위한 통합 프레임워크를 개발하는 것.
• ECI 지표의 추가 개선이 상당한 예측 성능 향상으로 이어질 수 있는지 평가하는 것.
• 지표의 점진적 개선에 대한 연구 초점을 지양하고, 경제 내 지식 확산 및 축적 메커니즘을 이해하는 데로 방향을 전환하는 것.

제안 방법

• 저자들은 기존 2009년 ECI와 2012년 변형 버전의 핵심 요소를 변경함으로써 729개의 서로 다른 ECI 변형을 생성하는 포괄적인 프레임워크를 구축한다.
• 각 변형은 핵심 ECI 알고리즘 내의 가중치 설정 및 정규화 방법을 포함한 매개변수와 기능 형태를 수정함으로써 유도된다.
• 각 변형의 예측 성능는 역사적 수출 데이터와 국가 수준의 경제 성과 지표를 사용하여 평가된다.
• 이 프레임워크를 통해 729개의 모든 변형을 체계적으로 비교하여 높은 예측 정확도를 보이는 것을 식별할 수 있다.
• 저자들은 통계 분석을 통해 변형들 간의 예측 성능 분포를 측정하고 최상위 성능을 보인 변형들을 특정한다.
• 729개의 변형이 원본 ECI 및 2012년 변형과 비교되어 ECI+가 2012년 변형과 수학적으로 동치임을 확인한다.

실험 결과

연구 질문

• RQ1 기존 2009년 ECI의 변형 중 얼마나 많은 것이 경제 발전에 대해 높은 예측 성능을 유지하는가?
• RQ2 ECI+ 변형과 2012년 ECI 변형은 수학적으로 동치인가? 만약 그렇다면, 왜 이 차이가 이전에 발견되지 않았는가?
• RQ3 ECI 변형의 몇 퍼센트가 최대 예측 정확도의 90퍼센트 이내의 성능을 달성하는가?
• RQ4 수출 기반 복잡성 측정법의 강건성은 ECI의 다양한 기능 형태에 걸쳐 유지되는가?
• RQ5 ECI를 미세하게 개선함으로써 성능 향상의 잠재력이 상당한가, 아니면 현재의 프레임워크가 이미 최적에 가까운가?

주요 결과

• 729개의 ECI 변형 중 28퍼센트 이상이 모든 변형 중에서 관찰된 최대 예측 정확도의 90퍼센트 이내에서 예측 성능을 달성한다.
• ECI+ 변형은 수학적으로 2012년 ECI 변형과 동치이며, 이는 제형의 차이가 본질적으로 없음을 확인한다.
• ECI 변형의 예측 성능는 다양한 기능 형태에 걸쳐 매우 강건하며, 수출 데이터를 사용해 지식 집약도를 측정하는 핵심 개념이 안정적임을 시사한다.
• 어느 하나의 ECI 변형도 기존 최고 성능 버전을 상당한 폭으로 초월하지 못하며, 이는 지표 개선의 수익 감소 현상을 시사한다.
• 결과적으로 향후 연구는 ECI 공식 최적화에 집중하기보다는 지식 확산 및 축적 메커니즘을 이해하는 데에 초점을 맞춰야 한다는 것을 암시한다.
• 이 연구는 수출 기반 복잡성 측정법의 성공이 단일 정밀한 공식에 의존하는 것이 아니라, 유사한 모델들의 넓은 집단에 기반한다는 것을 입증한다.