[논문 리뷰] Ecosystem-level Analysis of Deployed Machine Learning Reveals Homogeneous Outcomes

Connor Toups, Rishi Bommasani외 4명|arXiv (Cornell University)|2023. 07. 12.

COVID-19 epidemiological studies인용 수 4

한 줄 요약

이 논문은 개별 모델이 아닌 다수의 모델이 집합적으로 내리는 결과를 분석함으로써 구동 중인 기계학습의 사회적 영향을 연구하기 위해 생태계 수준 분석을 도입한다. 이는 시스템적 실패—모든 모델이 사용자를 잘못 분류하는 경우—가 널리 퍼져 있으며, 모델 개선에도 불구하고 지속됨을 드러내며, 피부과 모델에서의 인종적 편향이 이 프레임워크 하에서 더욱 두드러지게 드러남으로써 전통적 정의 기준의 한계를 보여준다.

ABSTRACT

Machine learning is traditionally studied at the model level: researchers measure and improve the accuracy, robustness, bias, efficiency, and other dimensions of specific models. In practice, the societal impact of machine learning is determined by the surrounding context of machine learning deployments. To capture this, we introduce ecosystem-level analysis: rather than analyzing a single model, we consider the collection of models that are deployed in a given context. For example, ecosystem-level analysis in hiring recognizes that a job candidate's outcomes are not only determined by a single hiring algorithm or firm but instead by the collective decisions of all the firms they applied to. Across three modalities (text, images, speech) and 11 datasets, we establish a clear trend: deployed machine learning is prone to systemic failure, meaning some users are exclusively misclassified by all models available. Even when individual models improve at the population level over time, we find these improvements rarely reduce the prevalence of systemic failure. Instead, the benefits of these improvements predominantly accrue to individuals who are already correctly classified by other models. In light of these trends, we consider medical imaging for dermatology where the costs of systemic failure are especially high. While traditional analyses reveal racial performance disparities for both models and humans, ecosystem-level analysis reveals new forms of racial disparity in model predictions that do not present in human predictions. These examples demonstrate ecosystem-level analysis has unique strengths for characterizing the societal impact of machine learning.

연구 동기 및 목표

• 모델 수준의 정의 기준 분석의 한계를 해결하기 위해 개인에게 영향을 미치는 여러 구동 중인 모델의 집합적 영향으로 초점을 이동시키는 것.
• 개별 모델의 개선이 시스템적 실패—모든 모델이 사용자를 잘못 분류하는 경우—를 줄이는지 여부를 조사하는 것.
• 기존의 그룹 수준 정의 기준 분석에서 보이지 않는 새로운 형태의 인종적 편향을 기계학습 결과에서 드러내는 것.
• 모든 모델이 시스템적으로 실패하는 개인에게 모델 개선이 미치는 영향을 평가하는 것.
• 기존의 모델 중심 평가 방식보다 더 세밀하고 중요한 사회적 영향을 생태계 수준 분석이 드러낼 수 있음을 보여주는 것.

제안 방법

• 생태계 내 모든 의사결정자로부터 개인이 받는 결과의 집합을 실패 행렬 F로 정의한다.
• 모든 모델에서 부정적 결과를 받는 개인을 시스템적 실패로 식별한다.
• HAPI 감사 프레임워크를 사용하여 텍스트, 음성, 시각 모odalities의 11개 데이터셋을 분석하고, 각 모달리티당 3개의 상업적 시스템을 활용한다.
• 모델 성능 향상의 총계 및 순계를 측정하여 진전이 시스템적 실패를 줄이는지 평가한다.
• 피부과 모델과 인간 피부과 전문의를 DDI 데이터셋을 사용하여 생태계 수준 분석한다. 피트자르크 피부 유형 레이블이 포함되어 있다.
• 프로필 편향 및 인종 편향 지표를 사용하여 모델과 인간의 결과를 비교하며, HAM10k는 거의 전반적으로 부정적 예측을 내기 때문에 제외한다.

실험 결과

연구 질문

• RQ1 모든 모델이 사용자를 잘못 분류하는 시스템적 실패—모든 모델이 사용자를 잘못 분류하는 경우—는 구동 중인 기계학습 시스템 전반에 걸쳐 얼마나 지속되는가?
• RQ2 개별 모델의 개선이 시스템적 실패를 줄이는가, 아니면 이미 다른 모델에 의해 올바르게 분류되는 사용자들에게만 혜택이 집중되는가?
• RQ3 생태계 수준 분석에서 모델 성능의 인종 편향은 기존의 정의 기준 분석과 비교해 어떻게 나타나는가?
• RQ4 피부과 모델은 인간 피부과 전문의보다 집합적 결과에서 더 높은 편향과 인종적 편향을 보이는가?
• RQ5 시스템적 실패에 대한 진전 측면에서 총 개선과 순 개선은 어떻게 비교되는가?

주요 결과

• 모든 모델이 사용자를 잘못 분류하는 시스템적 실패는 텍스트, 음성, 시각 분야의 11개 데이터셋 전반에서 널리 퍼져 있으며, 예측된 독립적 모델 행동을 뛰어넘는 높은 편향 비율을 보인다.
• waimai 데이터셋에서 오차율이 2.5% 감소했음에도 불구하고, 아마존의 감성 분석 API는 모든 다른 모델이 시스템적으로 실패하는 경우에 대해 총 개선이 전혀 없었다.
• 모델의 인스턴스 수준 개선 중 평균적으로 10%만이 모든 다른 모델이 잘못 분류하는 케이스에서 발생하며, 시스템적 실패는 향상 가능한 모든 케이스의 27%를 차지한다.
• 피부과 분야에서 어두운 피부 톤의 개인에 대해 모델은 더 높은 편향을 보이며, 인간 예측에서는 이러한 편향이 존재하지 않아, 기존의 정의 기준 분석에서 드러나지 않는 새로운 형태의 인종적 불평등을 드러낸다.
• HAM10k 모델을 포함시킬 경우 프로필 편향과 인종 편향이 악화되며, 이는 발견된 결과가 모델 제외로 인한 아티팩트가 아니며 탄탄하다는 것을 확인한다.
• 순 개선은 총 개선보다 시스템적 실패에 대한 진전이 더욱 적어, 모델의 성과 향상이 이미 잘 지원받는 개인에게 집중되어 있음을 시사한다.