[논문 리뷰] Impact of Biases in Big Data

Patrick Glauner, Petko Valtchev외 1명|arXiv (Cornell University)|2018. 03. 02.

Imbalanced Data Classification Techniques참고 문헌 21인용 수 9

한 줄 요약

이 논문은 대규모 데이터 기반 머신러닝에서 발생하는 두 가지 주요 편향인 클래스 불균형과 공변량 이탈을 체계적으로 검토하며, 단지 더 많은 데이터만으로는 신뢰할 수 있는 모델을 확보할 수 없음을 입증한다. 공변량 이탈을 탐지하기 위해 매튜스 상관계수와 결정트리를 활용한 정량적 방법을 제안하고, 인스턴스 가중치 부여 및 헤크만 방법과 같은 보정 기법을 제시함으로써, 모델의 신뢰성에 있어 데이터의 대표성은 데이터의 양보다 더 중요하다고 주장한다.

ABSTRACT

The underlying paradigm of big data-driven machine learning reflects the desire of deriving better conclusions from simply analyzing more data, without the necessity of looking at theory and models. Is having simply more data always helpful? In 1936, The Literary Digest collected 2.3M filled in questionnaires to predict the outcome of that year's US presidential election. The outcome of this big data prediction proved to be entirely wrong, whereas George Gallup only needed 3K handpicked people to make an accurate prediction. Generally, biases occur in machine learning whenever the distributions of training set and test set are different. In this work, we provide a review of different sorts of biases in (big) data sets in machine learning. We provide definitions and discussions of the most commonly appearing biases in machine learning: class imbalance and covariate shift. We also show how these biases can be quantified and corrected. This work is an introductory text for both researchers and practitioners to become more aware of this topic and thus to derive more reliable models for their learning problems.

연구 동기 및 목표

• 연구자 및 실무자들이 머신러닝에서 데이터 편향의 영향을 인지하도록 유도하기 위해.
• 가장 흔한 데이터 편향, 특히 클래스 불균형과 공변량 이탈을 식별하고 정의하기 위해.
• 학습 데이터 및 테스트 데이터 분포의 편향을 정량적으로 측정할 수 있는 방법을 제공하기 위해.
• 인스턴스 가중치 부여 및 헤크만 방법과 같은 보정 기법을 제시하여 편향의 영향을 완화하기 위해.
• 데이터의 대표성이 데이터의 양보다 모델 신뢰성에 더 중요하다고 주장하기 위해.

제안 방법

• 학습 데이터와 테스트 데이터 간의 공변량 이탈 정도를 정량화하기 위해 매튜스 상관계수(MCC)를 사용한다.
• 학습 데이터와 테스트 데이터 분포를 구분하기 위해 이진 레이블(s=1은 학습, s=0은 테스트)을 도입한 결정트리 학습 기법을 적용한다.
• 모델 학습 중 공변량 이탈를 보정하기 위해 밀도 추정을 활용한 인스턴스 가중치 부여 기법을 활용한다.
• 선형 모델에 국한되지만, 선형 회귀에 대해 헤크만 방법을 응용하여 학습 데이터의 선택 편향을 보정한다.
• 글로벌 학습자와 로컬 학습자의 차이를 분석한다: 글로벌 학습자는 P(X)에 의존하는 반면, 로컬 학습자는 오직 P(Y|X)에 의존하므로 공변량 이탈에 덜 민감하다.
• 신경망의 레이어 입력을 정규화하는 방법을 제안하여 내부 공변량 이탈을 완화함으로써 학습 수렴성 향상과 과적합 감소를 도모한다.

실험 결과

연구 질문

• RQ1 클래스 불균형과 공변량 이탈은 머신러닝 모델의 신뢰성과 일반화 능력에 어떻게 영향을 미치는가?
• RQ2 실제 데이터셋에서 공변량 이탈의 존재와 심각도를 효과적으로 정량화할 수 있는 지표는 무엇인가?
• RQ3 데이터의 대표성이 성능 향상에 기여하는 데 있어 데이터의 양을 능가할 정도로 중요한가?
• RQ4 딥 네트워크에서 내부 공변량 이탈과 같은 편향은 학습 중 어떻게 보정할 수 있는가?
• RQ5 비선형 학습 환경에서는 기존의 보정 기법, 예를 들어 헤크만 방법의 한계는 무엇인가?

주요 결과

• 230만 건의 응답이 있었음에도 불구하고, 1936년 리터러리 디글럽의 선거 예측은 자동차 소유자와 전화 사용자로 구성된 편향된 표본 탓에 실패했다. 이는 데이터의 양이 대표성의 부족을 상쇄하지 못함을 보여준다.
• 오직 3,000명의 수작업으로 선발된 응답자만으로도 정확한 예측을 이룬 조지 갈럽의 사례는 대규모이지만 비대표적인 데이터보다 편향 없는 표본 추출의 중요성을 강조한다.
• 학습 데이터와 테스트 데이터를 구분하기 위해 훈련한 결정트리에 매튜스 상관계수(MCC)를 적용하면 공변량 이탈의 정도를 정량적으로 측정할 수 있다.
• 결정트리나 소프트 마진 서포트 벡터 머신과 같은 글로벌 학습자는 공변량 이탈에 민감한 반면, 로지스틱 회귀나 하드 마진 서포트 벡터 머신과 같은 로컬 학습자는 그렇지 않다.
• 밀도 추정을 통한 인스턴스 가중치 부여 및 헤크만 방법은 공변량 이탈을 보정할 수 있지만, 후자는 선형 모델에 국한된다.
• 딥 네트워크에서의 내부 공변량 이탈은 학습 속도를 저하시키고 과적합 위험을 증가시키지만, 레이어별 입력 정규화를 통해 완화할 수 있으며, 이는 수렴성 향상과 일반화 능력 향상에 기여한다.