[논문 리뷰] Learning in the Presence of Corruption

Brendan van Rooyen, Robert C. Williamson|arXiv (Cornell University)|2015. 04. 01.

Corruption and Economic Development참고 문헌 32인용 수 9

한 줄 요약

이 논문은 통계적 의사결정 이론을 활용하여 레이블 손상 상황에서의 지도학습을 분석하기 위한 일반적 프레임워크를 제안한다. 비용의 에르고딕성 계수를 바탕으로 새로운 위험 상한과 하한을 도출하며, 비편향 추정기의 일반화된 방법을 제시한다. 특히, 대칭적 레이블 노이즈 하에서 선형 분리 가능한 데이터에 대해 0-1 손실이 여전히 빠른 수렴 속도로 학습 가능하다는 것을 증명함으로써, 손상된 데이터가 존재하는 상황에서도 빠른 학습 속도가 유지되는 조건을 규명한다.

ABSTRACT

In supervised learning one wishes to identify a pattern present in a joint distribution $P$, of instances, label pairs, by providing a function $f$ from instances to labels that has low risk $\mathbb{E}_{P}\ell(y,f(x))$. To do so, the learner is given access to $n$ iid samples drawn from $P$. In many real world problems clean samples are not available. Rather, the learner is given access to samples from a corrupted distribution $ ilde{P}$ from which to learn, while the goal of predicting the clean pattern remains. There are many different types of corruption one can consider, and as of yet there is no general means to compare the relative ease of learning under these different corruption processes. In this paper we develop a general framework for tackling such problems as well as introducing upper and lower bounds on the risk for learning in the presence of corruption. Our ultimate goal is to be able to make informed economic decisions in regards to the acquisition of data sets. For a certain subclass of corruption processes (those that are \emph{reconstructible}) we achieve this goal in a particular sense. Our lower bounds are in terms of the coefficient of ergodicity, a simple to calculate property of stochastic matrices. Our upper bounds proceed via a generalization of the method of unbiased estimators appearing in recent work of Natarajan et al and implicit in the earlier work of Kearns.

연구 동기 및 목표

• 다양한 유형의 손상된 데이터에서 학습하는 데 있어 난이도를 비교하기 위한 일반적 이론적 프레임워크를 개발하는 것.
• 학습 데이터가 손상된 경우 일반화 위험에 대한 상한과 하한을 제공하여 데이터 품질을 정량적으로 비교할 수 있도록 하는 것.
• 다양한 유형의 손상된 데이터의 유용성을 순위 매김함으로써 데이터 확보에 대한 정보 기반 경제적 결정을 가능하게 하는 것.
• 특히 0-1 손실과 레이블 노이즈에 대해 빠른 학습 속도가 유지되는 조건을 규명하는 것.
• 손상된 데이터가 학습 효율성 측면에서 청소년 데이터와 동일시될 수 있는 조건을 체계적으로 기술하는 것.

제안 방법

• 청결한 관측 공간에서 손상된 관측 공간으로의 부패 과정을 마르코프 커널로 모델링하며, 유한 집합과 확률적 행렬을 사용한다.
• 부패 심각도의 주요 척도로 확률적 행렬의 에르고딕성 계수를 적용하여 위험 하한을 도출한다.
• 이전 연구에서 제안된 비편향 추정기 방법을 일반화하여 손상에 강건한 학습 알고리즘을 설계한다.
• 손실과 부패 커널 간의 η-호환성 개념을 도입하여 청결한 위험과 손상된 위험의 경계를 연결한다.
• 다중 부패 과정(예: 노이즈 있는 레이블과 부분 레이블)의 조합을 분석하기 위해 구성성 성질를 활용한다.
• 베르누이 조건을 기반으로 상한은 일반화된 비편향 추정기 구성 방식을 통해, 하한은 에르고딕성 계수를 통해 유도한다.

실험 결과

연구 질문

• RQ1 손상된 데이터에서 학습할 때 어떤 조건에서 빠른 학습 속도가 유지될 수 있는가?
• RQ2 노이즈 있는 레이블, 부분 레이블 등의 다양한 유형의 손상된 데이터를 학습 유용성 측면에서 어떻게 정량적으로 비교할 수 있는가?
• RQ3 부패 과정(마르코프 커널로 표현)과 그로 인한 일반화 위험 간의 관계는 무엇인가?
• RQ4 부패 하에서 베르누이 조건이 유지될 수 있는가? 만약 가능하면 어떤 조건에서 가능한가?
• RQ5 부패 커널의 에르고딕성 계수는 손상된 데이터에서 학습의 난이도와 어떻게 관련이 있는가?

주요 결과

• 논문은 손상된 데이터에서의 위험에 하한을 도출하며, 이는 부패 커널의 에르고딕성 계수에 기반한다.
• 이전 연구 [30] 및 [24]를 확장한 일반화된 비편향 추정기 방법을 통해 위험에 대한 상한을 제공한다.
• 대칭적 레이블 노이즈 하에서 (0-1 손실, 부패 커널) 쌍은 η = max((1+σ₋₁−σ₁)/(1−σ₋₁−σ₁))² 인 η-호환성을 가지며, 이는 베르누이 조건 하에서 빠른 수렴 속도를 가능하게 한다.
• 청결한 데이터가 상수 K로 베르누이 조건을 만족하고, 부패가 η-호환성이라면, 손상된 데이터 역시 상수 ηK로 베르누이 조건을 만족한다.
• 이 프레임워크를 통해 n개의 청결한 샘플과 n₁개의 노이즈 있는 레이블, n₂개의 부분 레이블 등의 다양한 데이터 유형을 비교할 수 있으며, 상대적인 학습 난이도를 경계함으로써 분석이 가능하다.
• 결과적으로 특정 조건(예: 선형 분리 가능한 데이터와 0-1 손실) 하에서, 레이블 손상이 존재하더라도 빠른 수렴 속도가 유지됨을 보이며, 이는 노이즈 있는 데이터를 효율적으로 활용할 수 있는 이론적 근거를 제공한다.