[논문 리뷰] Human Wellbeing and Machine Learning

Ekaterina Oparina, Caspar Kaiser외 5명|arXiv (Cornell University)|2022. 06. 01.

Health disparities and outcomes인용 수 6

한 줄 요약

이 연구는 독일, 영국, 미국의 대규모 설문 조사 데이터를 바탕으로 주관적 복지 수준을 예측하기 위해 기계학습(ML) 방법—특히 트리 기반 모델인 랜덤 포레스트와 기울기 부스팅—을 평가한다. ML 모델은 전통적인 OLS 회귀 모델보다 성능이 뛰어나며, 예측 변수의 수를 늘일수록 성능 향상이 두드러지며, 결정계수 R-squared는 최대 0.32에 도달한다. 이는 건강, 물질적 조건, 사회적 관계와 같은 기존에 알려진 복지 결정요인을 뒷받침한다.

ABSTRACT

There is a vast literature on the determinants of subjective wellbeing. International organisations and statistical offices are now collecting such survey data at scale. However, standard regression models explain surprisingly little of the variation in wellbeing, limiting our ability to predict it. In response, we here assess the potential of Machine Learning (ML) to help us better understand wellbeing. We analyse wellbeing data on over a million respondents from Germany, the UK, and the United States. In terms of predictive power, our ML approaches do perform better than traditional models. Although the size of the improvement is small in absolute terms, it turns out to be substantial when compared to that of key variables like health. We moreover find that drastically expanding the set of explanatory variables doubles the predictive power of both OLS and the ML approaches on unseen data. The variables identified as important by our ML algorithms - $i.e.$ material conditions, health, and meaningful social relations - are similar to those that have already been identified in the literature. In that sense, our data-driven ML results validate the findings from conventional approaches.

연구 동기 및 목표

• 기계학습(ML) 모델이 기존 선형 모델 대비 주관적 복지 수준 예측 정확도를 향상시키는지 평가하는 것.
• 설문 조사 데이터를 활용한 복지 수준 예측의 최고 성능 한계를 규명하는 것.
• ML이 특정한 변수들을 중요하다고 판단하는 것이 기존 복지 문헌에서 제시된 결과와 일치하는지 평가하는 것.
• 설명 변수의 집합을 확장할 경우 OLS 및 ML 모델의 예측 성능에 어떤 영향을 미치는지 분석하는 것.
• 개인 고정효과를 포함한 패널 데이터 구조에서 ML 결과의 탄력성을 검토하는 것.

제안 방법

• 독일 SOEP, UKHLS, 미국 갤럽 데일리 풀러 등 세 개의 대규모 설문 조사 데이터셋을 활용하여 100만 명 이상의 응답자를 포함한다.
• 랜덤 포레스트(RF)와 기울기 부스팅(GB)과 같은 트리 기반 ML 알고리즘을 적용하였으며, 비교를 위해 정규화된 회귀 모델과 OLS도 사용하였다.
• 변수 집합을 두 단계로 나누어 분석: '제한된 집합'(기본 예측 변수)과 '확장된 집합'(모든 복지 수준과 관련 없는 변수)을 통해 예측 성능 향상을 평가하였다.
• 모든 모델(OLS 포함)에서 변수 중요도를 평가하기 위해 순열 중요도와 가짜 부분 효과를 활용하였다.
• 패널 데이터 분석을 위해 개인 수준의 시간에 따라 변하지 않는 평균과 그 평균에서의 차이를 포함하는 멀드라크 유사 보정을 적용하여 관측되지 않은 이질성을 통제하였다.
• 모델 성능 평가를 위해 검증용 데이터에서의 결정계수 R-squared를 사용하였으며, 결과의 탄력성을 확보하기 위해 교차검증을 실시하였다.

실험 결과

연구 질문

• RQ1 기계학습 알고리즘이 기존 선형 모델보다 복지 수준 예측에 뛰어난 성능을 보이는가?
• RQ2 설문 조사 데이터 기반 복지 수준 예측의 최고 성능 한계는 무엇인가?
• RQ3 ML 알고리즘이 중요하다고 판단한 변수들이 기존 복지 문헌에서 제시한 변수들과 일치하는가?
• RQ4 설명 변수의 집합을 확장할 경우 OLS 및 ML 모델의 예측 성능에 어떤 영향을 미치는가?
• RQ5 패널 데이터에서 개인 고정효과를 고려할 경우 ML 모델의 성능은 어떻게 되는가?

주요 결과

• 트리 기반 ML 모델, 특히 기울기 부스팅 모델이 OLS보다 복지 수준 예측에서 뛰어난 성능을 보이며, 결정계수 R-squared는 절대값 기준 최대 0.03 향상되었다—이는 건강 상태의 예측력과 동일하거나 이를 초월한다.
• 예측 변수의 집합을 표준 '제한된 집합'에서 전체 '확장된 집합'으로 확장함으로써 복지 수준의 설명된 변동성은 두 배 이상 증가하였으며, 데이터셋 전반에서 결정계수 R-squared는 약 0.15에서 약 0.30으로 상승하였다.
• 모든 모델과 데이터셋에서 도달 가능한 최대 결정계수 R-squared는 약 0.32로, 현재 설문 조사 데이터로는 예측 정확도에 실질적인 한계가 있음을 시사한다.
• ML 모델에서 도출된 변수 중요도 순위(순열 중요도 기반)는 OLS 결과와 강한 상관관계(ρ = 0.58에서 0.83)를 보이며, 두 방법 간 일관성이 확인되었다.
• ML이 특정한 변수들을 가장 중요하게 평가한 것은 건강, 물질적 조건, 의미 있는 사회적 관계로, 이는 기존 복지 연구에서 이미 확인된 핵심 결정요인과 일치한다.
• 패널 데이터 분석에서 개인 수준의 시간에 따라 변하지 않는 예측 변수 평균이 가장 강력한 예측 변수였으며, 그 평균에서의 변화(예: 건강 상태의 변화) 역시 복지 수준 예측에 의미 있는 기여를 하였다.