[논문 리뷰] Ethical behavior in humans and machines -- Evaluating training data quality for beneficial machine learning

Thilo Hagendorff|arXiv (Cornell University)|2020. 08. 26.

Ethics and Social Impacts of AI참고 문헌 99인용 수 4

한 줄 요약

이 논문은 지도 학습에서 학습 데이터 품질을 평가하기 위한 윤리적 프레임워크를 제안하며, 데이터 품질이 기술적 지표를 넘어서 윤리적 차원을 포함해야 한다고 주장한다. 사회적 및 심리학적 관점에서 행동 데이터를 분석함으로써, 'n = 전체' 대규모 데이터 패러다임을 대체할 수 있는 선택적 데이터 필터링 제도를 제안함으로써 더 책임감 있고 유익한 AI 시스템을 가능하게 한다.

ABSTRACT

Machine behavior that is based on learning algorithms can be significantly influenced by the exposure to data of different qualities. Up to now, those qualities are solely measured in technical terms, but not in ethical ones, despite the significant role of training and annotation data in supervised machine learning. This is the first study to fill this gap by describing new dimensions of data quality for supervised machine learning applications. Based on the rationale that different social and psychological backgrounds of individuals correlate in practice with different modes of human-computer-interaction, the paper describes from an ethical perspective how varying qualities of behavioral data that individuals leave behind while using digital technologies have socially relevant ramification for the development of machine learning applications. The specific objective of this study is to describe how training data can be selected according to ethical assessments of the behavior it originates from, establishing an innovative filter regime to transition from the big data rationale n = all to a more selective way of processing data for training sets in machine learning. The overarching aim of this research is to promote methods for achieving beneficial machine learning applications that could be widely useful for industry as well as academia.

연구 동기 및 목표

• 지도 학습에서 학습 데이터 품질 평가에 있어 윤리적 평가의 부재를 해결하기 위해.
• 다양한 사회적 및 심리적 배경이 인간-컴퓨터 상호작용과 데이터 생성에 어떻게 영향을 미치는지 탐구하기 위해.
• 'n = 전체' 대규모 데이터 원칙에서 윤리적으로 고려된 더 선택적인 데이터 정제 과정으로의 전환을 제안하기 위해.
• 윤리적으로 평가된 학습 데이터를 통해 유익한 기계 학습 응용 프로그램을 개발하기 위한 기반을 마련하기 위해.
• 인간의 행동이 나타내는 윤리적 품질을 기반으로 데이터를 평가하는 새로운 필터 제도를 제공하기 위해.

제안 방법

• 디지털 상호작용 동안 생성된 행동 데이터를 윤리적 데이터 평가의 근거로 분석한다.
• 기술적 성능만이 아니라 윤리적 영향을 중심으로 한 새로운 데이터 품질 차원을 도입한다.
• 생산자인 개인의 윤리적 행동을 기반으로 데이터를 평가하는 필터 제도를 제안한다.
• 사회적 및 심리학적 이론을 활용하여 개인의 배경과 윤리적 관점에서의 데이터 품질 간의 상관관계를 규명한다.
• 기계 학습의 데이터 선택을 기술적 최적화가 아닌 도덕적 및 사회적 책임으로 재정의한다.
• '모든 데이터'라는 기본 접근 방식을 윤리적으로 검토된 선택적 데이터 정제 전략으로 대체한다.

실험 결과

연구 질문

• RQ1 개인 간 사회적 및 심리적 차이가 디지털 시스템 내 행동 데이터의 윤리적 품질에 어떻게 영향을 미치는가?
• RQ2 지도 학습 학습 데이터에서 식별하고 측정할 수 있는 데이터 품질의 윤리적 차원은 무엇인가?
• RQ3 인간 행동의 윤리적 평가가 기계 학습 모델의 학습 데이터 선택에 어느 정도 기여할 수 있는가?
• RQ4 'n = 전체' 데이터 수집에서 윤리적으로 평가된 선택적 데이터로의 전환은 기계 학습 결과에 어떤 영향을 미치는가?
• RQ5 유익한 AI를 위한 데이터 정제에 윤리적 고려를 통합하기 위해 개발할 수 있는 프레임워크는 무엇인가?

주요 결과

• 논문은 학습 데이터 품질이 정확도나 균형과 같은 기술적 지표를 넘어서 윤리적 차원을 포함해야 한다고 규명한다.
• 개인의 행동 데이터가 데이터 사용의 윤리적 함의에 영향을 미치는 사회적 및 심리적 배경을 반영함을 입증한다.
• 대상 행동의 윤리적 품질을 기반으로 데이터를 평가하는 개념적 프레임워크를 수립한다.
• 기존의 'n = 전체' 데이터 수집 모델에서 벗어나 선택적이고 윤리적으로 고려된 데이터 선택 방식으로 전환하는 새로운 필터 제도를 제안한다.
• 윤리적으로 평가된 학습 데이터를 통해 유익한 기계 학습 시스템을 개발하기 위한 기초적 접근을 기여한다.
• 연구는 윤리적 데이터 정제가 책임감 있는 AI 개발을 위해 필수적임을 제시하며, 산업계와 학계에 모두 영향을 미친다.