[논문 리뷰] Unknown Examples & Machine Learning Model Generalization.

Yeounoh Chung, Peter J. Haas외 2명|arXiv (Cornell University)|2018. 08. 24.

Machine Learning and Data Classification참고 문헌 34인용 수 24

한 줄 요약

이 논문은 다중 소스 학습 데이터를 기반으로 종 수 추정과 데이터 기반 특징 모델링을 사용하여 공변량 이탈 또는 표본 추출 편향으로 인해 누락된 '모르는 모르는 것들'(unknown unknowns) — 즉, 훈련 예제를 추정하고 합성하는 방법을 제안한다. 이 방법은 훈련 시 테스트 데이터가 필요 없이 모델의 일반화 능력을 향상시키고 일반화 오차를 감소시킨다.

ABSTRACT

Over the past decades, researchers and ML practitioners have come up with better and better ways to build, understand and improve the quality of ML models, but mostly under the key assumption that the training data is distributed identically to the testing data. In many real-world applications, however, some potential training examples are unknown to the modeler, due to sample selection bias or, more generally, covariate shift, i.e., a distribution shift between the training and deployment stage. The resulting discrepancy between training and testing distributions leads to poor generalization performance of the ML model and hence biased predictions. We provide novel algorithms that estimate the number and properties of these unknown training examples---unknown unknowns. This information can then be used to correct the training set, prior to seeing any test data. The key idea is to combine species-estimation techniques with data-driven methods for estimating the feature values for the unknown unknowns. Experiments on a variety of ML models and datasets indicate that taking the unknown examples into account can yield a more robust ML model that generalizes better.

연구 동기 및 목표

• 훈련 데이터와 테스트 데이터 분포가 다를 때 발생하는 공변량 이탈과 표본 추출 편향으로 인한 모델 일반화 능력 저하 문제를 해결하기 위해.
• 데이터 수집 편향으로 인해 체계적으로 누락되는 훈련 예제(모르는 모르는 것들)를 탐지하고 모델링하기 위해.
• 훈련 시 테스트 데이터에 접근할 수 없더라도 모델의 강인성과 일반화 성능을 향상시키는 방법을 개발하기 위해.
• 겹치는 데이터 소스를 활용하여 실용적이고 데이터 기반의 접근 방식으로 훈련 데이터 분포를 교정하기 위해.

제안 방법

• 훈련 데이터 내 희귀하거나 누락된 데이터 유형(종)의 수를 추정하기 위해 종 수 추정 기법을 사용한다.
• 관측된 데이터 패턴을 바탕으로 모르는 모르는 것들의 타당한 특징 값을 추론하기 위해 데이터 기반 방법을 적용한다.
• 커널 밀도 추정(KDE)과 SMOTE 기반 방법을 사용하여 누락된 데이터 유형에 대한 현실적인 훈련 예제를 합성한다.
• 모델 훈련 이전에 이러한 합성된 모르는 모르는 예제를 훈련 세트에 통합하여 훈련 세트를 보정한다.
• 훈련 데이터와 테스트 데이터 간 조건부 클래스 분포 p(y|x)가 일관되다고 가정한다.
• 훈련 시 미표본 테스트 데이터나 진짜 테스트 분포에 대한 지식이 필요하지 않다.

실험 결과

연구 질문

• RQ1 테스트 데이터가 훈련 시 가용하지 않을 때, 공변량 이탈에 대해 어떻게 더 강인한 기계 학습 모델을 만들 수 있는가?
• RQ2 테스트 데이터에 접근할 수 없을 때, 누락된 훈련 예제(모르는 모르는 것들)의 특징 값을 효과적으로 추정할 수 있는 기법은 무엇인가?
• RQ3 모르는 모르는 것들에 대한 합성 데이터 생성이 모델의 일반화 성능 향상에 기여하는가?
• RQ4 KDE와 SMOTE와 같은 다양한 합성 데이터 생성 방법 간의 성능 비교는 어떻게 이루어지는가? 특히 공변량 이탈에 대한 대처 능력 측면에서.
• RQ5 어떤 조건에서 모르는 모르는 것들을 학습하는 것이 모델 성능 향상에 뚜렷하게 기여하는가?

주요 결과

• NBA 선수 신장-체중 회귀 과제에서 SynUnk (KDE)가 모든 방법 중에서 일반화 오차(Ge)를 가장 낮게 유지했다.
• 제안된 방법은 MovieLens 데이터셋에서 기준 모델 대비 일반화 오차 측면에서 성능 향상을 보였다.
• 합성된 모르는 모르는 예제는 성능 저하를 유발하지 않았고, 테스트 데이터가 훈련 시 가용하지 않더라도 종종 성능 향상을 이끌었다.
• 보수적인 추정에 대해서도 강인한 성능을 보였으며, 모르는 모르는 것들이 매우 집중되어 있지 않은 경우에도 성능 저하가 최소한이었다.
• 결과적으로 잘 훈련된 모델조차도 공변량 이탈 상황에서는 실패할 수 있음을 보여주며, 사전에 모르는 모르는 것들을 탐지할 필요성이 강조된다.
• 목표 분포에 대한 지식 없이도 특정 데이터 유형의 체계적 부재로 인한 편향을 효과적으로 완화할 수 있었다.