[논문 리뷰] AI exposure predicts unemployment risk

Morgan R. Frank, Yong‐Yeol Ahn외 1명|arXiv (Cornell University)|2023. 08. 04.

Digital Economy and Work Transformation인용 수 4

한 줄 요약

이 연구는 2010–2020년도 동안 미국 주 단위의 고도로 분해된 실업보험 데이터를 활용하여, 다양한 인공지능(AI) 노출 점수들이 실업 위험, 직업 이탈, 직업 내 기술 변화를 예측할 수 있는지 평가한다. 개별 AI 노출 모델은 예측 능력을 보이지 않았지만, 이러한 모델들의 앙상블은 실업 위험을 유의미하게 예측하며, 직업 및 지역 간에 동적이고 맥락 인식형이며 검증된 AI 노출 평가 방법의 필요성을 강조한다.

ABSTRACT

Is artificial intelligence (AI) disrupting jobs and creating unemployment? Despite many attempts to quantify occupations' exposure to AI, inconsistent validation obfuscates the relative benefits of each approach. A lack of disaggregated labor outcome data, including unemployment data, further exacerbates the issue. Here, we assess which models of AI exposure predict job separations and unemployment risk using new occupation-level unemployment data by occupation from each US state's unemployment insurance office spanning 2010 through 2020. Although these AI exposure scores have been used by governments and industry, we find that individual AI exposure models are not predictive of unemployment rates, unemployment risk, or job separation rates. However, an ensemble of those models exhibits substantial predictive power suggesting that competing models may capture different aspects of AI exposure that collectively account for AI's variable impact across occupations, regions, and time. Our results also call for dynamic, context-aware, and validated methods for assessing AI exposure. Interactive visualizations for this study are available at https://sites.pitt.edu/~mrfrank/uiRiskDemo/.

연구 동기 및 목표

• 기존의 AI 노출 점수들이 직업 수준에서 실업 위험, 직업 이탈, 기술 변화를 예측할 수 있는지 평가하는 것.
• 이전 연구들이 집합적 고용 또는 급여 데이터에 의존하는 한계를 극복하기 위해, 2010년부터 2020년까지 고도로 분해된 주 단위 실업보험 데이터를 사용하는 것.
• Acemoglu & Autor, Frey & Osborne, Arntz 등, Brynjolfsson 등, Felten 등, Webb의 AI 노출 모델을 포함한 여러 AI 노출 모델의 예측 타당성을 다양한 노동시장 결과에 대해 평가하는 것.
• AI 노출 모델의 적용 가능성이 직업 및 지역 간에 이질적임을 규명하여 단일 점수 평가의 문제를 도드라지게 하는 것.
• 노동시장 정책 및 연구에 있어 AI 노출 측정에 대해 동적이고 맥락 인식형이며 경험적으로 검증된 방법을 권장하는 것.

제안 방법

• 미국 각 주의 실업보험 사무소에서 제공한 매월의 실업자 수를 가장 최근 직업별로 고도로 분해한 데이터셋을 구축함 (2010–2020).
• 컴퓨터 사용량, 반복적 업무 노출도, 자동화 가능도, 기계학습에 적합도, AI/소프트웨어 노출 비율 등 다양한 단위를 가진 기존 연구에서 유래한 AI 노출 점수들을 수집하고 표준화함.
• 연도 및 주요 SOC 분류군의 고정 효과를 포함한 다중 선형 회귀 모델을 적용하여, 각 AI 노출 점수의 실업 위험, 직업 이탈, 직업 내 기술 변화에 대한 예측 능력을 분리 평가함.
• 다양한 단위와 척도를 가진 AI 노출 지표 간 비교 가능성을 확보하기 위해 표준화 및 중심화된 변수를 사용함.
• 모델 성능 평가에 R² 및 수정 R²를 사용하였으며, 각 계수의 유의수준을 보고함.
• 개별 AI 노출 점수들을 조합하여 앙상블 모델링을 수행함으로써 전체 예측 능력을 평가함.

Figure 1: Technological exposure scores are not consistent with each other and cannot individually predict unemployment risk well. (A) The Pearson correlation of pairs of AI exposure scores across occupations. Scores are ordered according to the study’s Wave (see Table 1 ). (B) The variation in unem

실험 결과

연구 질문

• RQ1 개별 AI 노출 점수들은 직업 수준에서 실업 위험 증가를 예측할 수 있는가?
• RQ2 AI 노출 점수들은 직업 이탈 비율이나 직업 내 기술 변화를 예측할 수 있는가?
• RQ3 여러 개의 AI 노출 점수들을 앙상블 모델로 조합하면 실업 위험에 대한 예측 정확도가 향상되는가?
• RQ4 AI 노출 모델의 예측 능력은 미국의 다양한 주와 직업 간에 어떻게 다를까?
• RQ5 고용 및 급여 데이터만으로는 AI로 인한 다른 노동시장 파국, 예를 들어 직업 이탈과 실업을 얼마나 잘 드러내는가?

주요 결과

• Acemoglu & Autor, Frey & Osborne, Arntz 등, Brynjolfsson 등, Felten 등, Webb의 개별 AI 노출 모델은 실업 위험, 직업 이탈, 기술 변화 예측에 있어 유의미한 예측 능력을 보이지 않았다.
• 모든 AI 노출 점수들을 조합한 앙상블 모델은 실업 위험을 유의미하게 예측하였으며, 최종 모델에서 수정 R²가 0.304로 나타나 강력한 종합적 설명력을 보였다.
• 지역 고정 효과, 시간 추세, 직업 기술 요구 수준을 통제한 후에도 앙상블 모델은 여전히 예측 능력을 유지하여, 여러 모델이 AI 노출의 상호보완적인 측면을 포착하고 있음을 시사했다.
• 모델 적용 가능성이 지리적으로 크게 이질적이었으며, 미국의 각 주에서 다른 AI 노출 점수가 더 관련성이 있었고, 이는 일률적인 접근 방식이 부적절함을 시사했다.
• 이 연구는 고용 및 급여 데이터만으로는 실업보험 데이터가 더 잘 포착하는 직업 이탈 및 실업과 같은 핵심적인 노동시장 파국을 간과할 수 있음을 발견했다.
• 2010~2017년도 O*NET 데이터를 활용한 직업 내 기술 변화는 유의미한 변동성을 보였으며, 여러 AI 노출 점수(예: Brynjolfsson 등의 기계학습 적합도, Felten 등의 AI 노출)는 기술 변화와 유의미하게 관련이 있었고, 계수는 각각 0.330*** 및 -0.269***로 나타났다.

Figure 2: Combining AI exposure scores from all studies substantially improves predictions of unemployment risk. (A) A schematic for the theoretical influence among education, skills, technology, and unemployment risk. (B) Combined into a single linear model, AI exposure scores capture 29.1% of the