[논문 리뷰] Who's responsible? Jointly quantifying the contribution of the learning algorithm and training data

Gal Yona, Amirata Ghorbani외 1명|arXiv (Cornell University)|2019. 10. 09.

Machine Learning and Data Classification참고 문헌 38인용 수 8

한 줄 요약

이 논문은 모델 성능에 대한 학습 알고리즘과 훈련 데이터의 기여도를 함께 측정하는 원칙적인 프레임워크인 확장된 샤플리(Extended Shapley)를 소개한다. 샤플리 값 이론을 확장하여 알고리즘과 데이터를 공동 책임자로 모델링함으로써 기계학습에서 공정한 책임 소재를 가능하게 하며, 실험적 검증을 통해 성능 저하가 편향된 데이터 때문인지 또는 잘못된 알고리즘 때문인지 식별할 수 있음을 보여준다.

ABSTRACT

A learning algorithm $A$ trained on a dataset $D$ is revealed to have poor performance on some subpopulation at test time. Where should the responsibility for this lay? It can be argued that the data is responsible, if for example training $A$ on a more representative dataset $D'$ would have improved the performance. But it can similarly be argued that $A$ itself is at fault, if training a different variant $A'$ on the same dataset $D$ would have improved performance. As ML becomes widespread and such failure cases more common, these types of questions are proving to be far from hypothetical. With this motivation in mind, in this work we provide a rigorous formulation of the joint credit assignment problem between a learning algorithm $A$ and a dataset $D$. We propose Extended Shapley as a principled framework for this problem, and experiment empirically with how it can be used to address questions of ML accountability.

연구 동기 및 목표

• 모델이 하위집단에서 실패할 때 기계학습의 책임 소재 증가에 대응하기 위해.
• 학습 알고리즘과 훈련 데이터 간의 공동 기여도 할당 문제를 공식적으로 정의하기 위해.
• 알고리즘과 데이터 양쪽에 공정하게 책임을 부여하는 원칙적인 게임 이론적 프레임워크를 개발하기 위해.
• 성능 저하가 데이터 편향인지 알고리즘 설계 때문인지 실증적으로 분석할 수 있도록 하기 위해.
• 대규모 데이터셋에서도 공동 기여도를 효율적으로 계산할 수 있는 확장 가능한 방법을 제공하기 위해.

제안 방법

• 기존 샤플리 값 이론을 확장하여 학습 알고리즘과 데이터 포인트의 기여도를 함께 모델링한다.
• 모든 가능한 데이터 부분집합에 대해 각 알고리즘과 데이터 포인트의 마진널 기여도를 계산하는 평가 함수를 정의한다.
• 대규모 데이터셋에서도 효율적으로 확장된 샤플리 값을 근사하기 위해 잘라낸 몬테카를로 샘플링을 사용한다.
• 다양한 데이터 부분집합에서 알고리즘 성능을 비교함으로써 알고리즘 선택과 데이터 구성의 영향을 분리한다.
• 수렴성을 향상시키기 위해 샘플링 중에 샤플리 값을 점진적으로 갱신하는 재귀적 평균화 기법을 적용한다.
• 유사한 부분집합 크기의 중복 평가를 방지하기 위해 성능 허용 오차 기준을 도입한다.

실험 결과

연구 질문

• RQ1 학습 데이터와 독립적으로 하위집단에서의 성능 열악함에 대해 학습 알고리즘이 어느 정도 책임질 수 있는가?
• RQ2 모델 실패 시 알고리즘 설계와 데이터 품질 간의 책임을 어떻게 공정하게 할당할 수 있는가?
• RQ3 공동 기여도 할당 프레임워크는 성능 문제의 원인이 편향된 데이터인지, 최적화되지 않은 알고리즘 선택인지 식별할 수 있는가?
• RQ4 대규모 기계학습 환경에서 이러한 공동 기여도를 어떻게 효율적으로 계산할 수 있는가?
• RQ5 편향된 초해상도 모델과 같은 실제 실패 사례에서 이 프레임워크는 의미 있는 통찰을 드러내는가?

주요 결과

• 확장된 샤플리는 공동 기여도 할당을 위한 바람직한 공리들을 유일하게 충족하여 책임 소재 문제에 원칙적인 해결책을 제공한다.
• 어른 소득 데이터셋에서, 모든 다른 알고리즘과 비교해 애바스타프(Adaboost)가 양의 확장된 샤플리 값을 기록하여 데이터와의 공동 기여도가 뛰어나다는 것을 시사한다.
• 라벨이 부여된 하위집단을 포함한 시뮬레이션 실험을 통해, 이 프레임워크는 알고리즘 실패와 데이터 편향을 성공적으로 구분한다.
• 잘라낸 몬테카를로 근사 방법은 48,000개 이상의 데이터 포인트를 포함한 데이터셋에서도 안정적이고 효율적으로 수렴한다.
• 확장된 샤플리 값은 마진널 성능 차이보다 더 깊은 통찰을 제공하며, 실패의 주요 원인이 알고리즘인지 데이터인지 파악할 수 있다.
• 통제된 시뮬레이션 환경에서, 확장된 샤플리는 알고리즘 B가 완벽한 성능(값 1.0)을 기록한 반면, 알고리즘 A의 비선형 결정 경계가 녹색 레이블 포인트에서 오류를 일으켰음을 정확히 식별했다.