[논문 리뷰] Decontamination of Mutual Contamination Models

Julian Katz-Samuels, Gilles Blanchard외 1명|arXiv (Cornell University)|2017. 09. 30.

Machine Learning and Data Classification참고 문헌 43인용 수 15

한 줄 요약

이 논문은 데이터가 알려지지 않은 기본 분포의 혼합물인 상호 오염 모델을 복원하기 위한 통합 프레임워크를 제안한다. 오염된 샘플에서 진정한 기본 분포를 식별하고 추정함으로써 오염을 제거한다. 이는 다중 클래스 분류, 레이블 노이즈, 혼합 소속 모델, 부분 레이블 분류에 대해 유한 표본 성능 보장을 갖는 알고리즘과 함께 식별 가능성 조건을 수립한다.

ABSTRACT

Many machine learning problems can be characterized by mutual contamination models. In these problems, one observes several random samples from different convex combinations of a set of unknown base distributions and the goal is to infer these base distributions. This paper considers the general setting where the base distributions are defined on arbitrary probability spaces. We examine three popular machine learning problems that arise in this general setting: multiclass classification with label noise, demixing of mixed membership models, and classification with partial labels. In each case, we give sufficient conditions for identifiability and present algorithms for the infinite and finite sample settings, with associated performance guarantees.

연구 동기 및 목표

• 기계 학습에서 알려지지 않은 기본 분포의 혼합물로 오염된 데이터 샘플로부터 진정한 기본 분포를 복원하는 문제에 도전한다.
• 다중 클래스 분류의 레이블 노이즈, 혼합 소속 모델, 부분 레이블 분류의 세 가지 핵심 문제를 동일한 이론적 프레임워크 아래 통합한다.
• 파rametric 가정 없이 임의의 확률 공간에서 기본 분포의 식별 가능성에 충분한 조건을 수립한다.
• 유한 표본 설정과 무한 표본 설정 모두에 적용 가능한 알고리즘을 개발하고 이론적 성능 보장을 제공한다.
• 실제 문제에 적용 가능한 일반적인 오염 제거 접근법을 제시한다. 이는 노이즈가 있거나 완전하지 않은 지도 신호를 가진 문제에 적합하다.

제안 방법

• 상호 오염 모델을 선형 혼합으로 공식화한다: $\tilde{\bm{P}} = \bm{\Pi} \bm{P}$, 여기서 $\tilde{P}_i$는 관측된 오염된 분포이고 $P_j$는 알려지지 않은 기본 분포이다.
• 잔차 기반 목적 함수를 후보 분포 위에서 최소화함으로써 ResidueHat 추정기로 기본 분포를 복원한다.
• 정점 탐색 절차를 이용해 추정된 분포 중 실제 기본 분포에 해당하는 것을 식별하기 위해 VertexTest 알고리즘을 도입한다.
• 스펙트럼 지지도 추정을 활용하여 실제 데이터셋에서 공동 기저 조건을 경험적으로 검증한다.
• 유니온 바운드와 농도 분석을 적용하여 표본 크기가 증가함에 따라 추정된 혼합 구조 $\widehat{\kappa}_{i,j}$ 가 진짜 구조 $\kappa_{i,j}$ 로 수렴함을 보인다.
• 공동 기저성 및 선형 독립성 조건 하에서 DemixHat 알고리즘이 일致성 있음을 증명하여 추정된 기본 분포가 진짜 분포로 수렴함을 보장한다.

실험 결과

연구 질문

• RQ1 비모수적 설정에서 혼합된 오염된 샘플로부터 진짜 기본 분포를 유일하게 식별할 수 있는 조건은 무엇인가?
• RQ2 혼합 행렬이 알려지지 않은 상태에서 유한 표본 설정에서 오염 제거 문제를 일관되게 해결할 수 있는 방법은 무엇인가?
• RQ3 제안된 알고리즘이 레이블 노이즈가 있는 다중 클래스 분류에서 진짜 기본 분포를 얼마나 잘 복원하는가?
• RQ4 이 프레임워크는 이론적 보장을 갖추고 혼합 소속 모델과 부분 레이블 분류에 적용될 수 있는가?
• RQ5 실제 데이터셋에서 식별 가능성에 필요한 공동 기저 조건을 뒷받침하는 경험적 증거는 무엇인가?

주요 결과

• 논문은 기본 분포의 공동 기저성이 상호 오염 모델에서 식별 가능성에 충분한 조건임을 수립한다.
• DemixHat 알고리즘은 표본 크기가 증가함에 따라 $\sup_E |\widehat{Q}_i(E) - P_{\sigma(i)}(E)| < \delta$ 를 고확률로 만족하는 방식으로 기본 분포 $\widehat{Q}_i$ 를 일관되게 추정한다.
• MNIST, Iris, 유방암 데이터셋에 대한 경험적 결과는 $\Pr_{\bm{x} \sim P_i}(\bm{x} \in \cup_{j \neq i} \widehat{S}_j)$ 가 1보다 훨씬 작음을 보여주며(예: 0.08–0.38), 이는 공동 기저 조건을 지지한다.
• 혼합 구조가 복원 가능하다면, 대규모 표본 근처에서 VertexTest 알고리즘이 기본 분포를 고확률로 정확히 식별한다.
• 이론적 보장에 따르면 추정된 혼합 구조 $\widehat{\kappa}_{i,j}$ 가 표본 크기 $\bm{n} \to \infty$ 에서 진짜 구조 $\kappa_{i,j}$ 와 일치할 확률이 1로 수렴한다.
• 기존의 토픽 모델링 이론을 일반화하여 비모수적 가정을 제거하고 임의의 확률 공간에 적용 가능하게 한다.