[논문 리뷰] Robust Learning from Untrusted Sources

Nikola Konstantinov, Christoph H. Lampert|arXiv (Cornell University)|2019. 01. 29.

Machine Learning and Algorithms인용 수 19

한 줄 요약

이 논문은 일반화 오차의 상한을 최소화함으로써 참조 데이터셋을 사용하여 다수의 신뢰할 수 없는 데이터 소스에 대해 자동으로 적응형 가중치를 할당하는 강건한 학습 프레임워크를 제안한다. 통계적 학습 이론을 활용하고 국소적 신뢰도 추정을 가능하게 함으로써, 다양한 오염 유형에서 단순 평균화 및 강건한 기준 모델을 초월하여 뛰어난 정확도를 달성하며, 높은 데이터 오염 상황에서도 성능이 떨어지지 않는다.

ABSTRACT

Modern machine learning methods often require more data for training than a single expert can provide. Therefore, it has become a standard procedure to collect data from external sources, e.g. via crowdsourcing. Unfortunately, the quality of these sources is not always guaranteed. As additional complications, the data might be stored in a distributed way, or might even have to remain private. In this work, we address the question of how to learn robustly in such scenarios. Studying the problem through the lens of statistical learning theory, we derive a procedure that allows for learning from all available sources, yet automatically suppresses irrelevant or corrupted data. We show by extensive experiments that our method provides significant improvements over alternative approaches from robust statistics and distributed optimization.

연구 동기 및 목표

• 여러 신뢰할 수 없는, 잠재적으로 오염된 소스에서 온 데이터로 신뢰할 수 있는 모델을 훈련하는 데 도전하는 것.
• 전체 데이터를 검토할 필요 없이 저품질 또는 악성 데이터를 자동으로 식별하고 가중치를 낮추는 방법을 개발하는 것.
• 데이터를 중앙집중적으로 수집하거나 검토할 수 없는 분산 또는 개인정보 보호 제약이 있는 환경에서도 강건성을 확보하는 것.
• 소스별 신뢰도 점수를 사용하여 기대 손실의 상한을 최소화함으로써 일반화 성능을 향상시키는 것.

제안 방법

• 통계적 학습 이론에 기반하여, 가중치가 부여된 경험적 리스크로 훈련된 예측기의 기대 손실에 대한 이론적 상한을 유도하는 방법.
• 소규모 신뢰할 수 있는 參고 데이터셋과 비교하여 각 데이터 소스의 신뢰도를 정량화하는 신뢰도 측정법을 도입.
• 유도된 일반화 오차 상한을 근사적으로 최소화함으로써 소스 가중치를 학습하며, 參고 데이터에 가까운 소스를 우선시.
• 신뢰도 측정법은 각 소스에서 국소적으로 계산하거나 기울기 기반 최적화를 통해 수행할 수 있어, 개인정보 보호 및 분산 배포를 가능하게 함.
• 기존의 분산 학습 프레임워크에 원활하게 통합되며, 중앙집중식 및 분산형 훈련 모두를 지원.
• 기본 학습 알고리즘에 관계없이 일반적인 지도 학습 작업에 적용 가능한 독립적 접근 방식임.

실험 결과

연구 질문

• RQ1 데이터 품질이 불확실하고 개인정보 보호 제약으로 인해 데이터 접근이 제한되는 상황에서, 다수의 신뢰할 수 없는 데이터 소스로부터 강건하게 학습할 수 있는 방법은 무엇인가?
• RQ2 신뢰할 수 없는 데이터 소스에 대해 적응형 가중치를 할당하는 학습 방법에 대해 이론적 보장은 무엇을 제공할 수 있는가?
• RQ3 참조 데이터셋과의 비교에 기반한 신뢰도 측정법이 분산 환경에서 오염되거나 관련성이 없는 데이터를 효과적으로 억제할 수 있는가?
• RQ4 제안된 방법은 다양한 오염 유형에서 단순 평균화(모든 데이터 사용) 또는 참조 데이터셋 전용 훈련과 비교해 어떻게 성능을 냅니다?
• RQ5 원시 데이터를 공유하지 않고도 개인정보 보호 또는 분산 학습 환경에서 이 방법을 얼마나 널리 배포할 수 있는가?

주요 결과

• 제안된 방법은 모든 작업에 대해 85개의 예측 작업에서 모두 참조 데이터셋만 사용하는 것과 모든 데이터를 사용하는 것보다 뚜렷이 뛰어난 성능을 보였다.
• 20%의 레이블 편향 상황에서 n=10일 때 85개 작업 중 85개가 정확하게 예측되었으며, (Feng 등, 2014)는 5개, (Yin 등, 2018)는 25개를 정확히 예측한 것에 비해 뚜렷이 승리했다.
• 혼합된 레이블 상황에서는 n=10일 때 84개의 정확한 예측을 기록했으며, (Pregibon, 1982)는 47개, (Yin 등, 2018)는 17개를 기록한 것보다 뛰어났다.
• 흐릿한 이미지 상황에서는 n=10일 때 84개의 정확한 예측을 기록했으며, (Pregibon, 1982)는 57개, (Yin 등, 2018)는 15개를 기록한 것보다 뛰어났다.
• 이 방법은 레이블 편향, 혼합된 레이블, 흐릿한 이미지, 사라진 픽셀, RGB 채널 교환 등 다양한 오염 유형에서 뛰어난 강건성을 보였으며, 여러 기준 모델보다 일관되게 승리했다.
• 높은 오염 수준(p=0.2)에서도 성능 저하 없이 높은 성능을 유지했으며, 데이터가 분산되거나 비공개일 경우에도 정확도에 영향을 주지 않아, 확장성과 개인정보 보호 준수 능력을 확인했다.