[논문 리뷰] Minimax semi-supervised confidence sets for multi-class classification

Evgenii Chzhen, Christophe Denis외 1명|arXiv (Cornell University)|2019. 04. 29.

Sparse and Compressive Sensing Techniques참고 문헌 31인용 수 3

한 줄 요약

이 논문은 마진 조건과 헬더 스무쓰니스 조건 하에서 다중 분류 문제에 대해 최소최대 최적의 준위집합 추정기들을 제안한다. 연구에서는 감독 학습 방법이 본질적으로 느린 n^{-1/2} 수렴 속도에 국한되어 있음을 보이고, 충분한 무라벨 데이터가 가용할 경우 준감독 학습 방법이 더 빠른 수렴 속도를 달성할 수 있음을 이론적으로 보장하고 실험적으로 검증한다.

ABSTRACT

In this work we study the semi-supervised framework of confidence set classification with controlled expected size in minimax settings. We obtain semi-supervised minimax rates of convergence under the margin assumption and a H{\"o}lder condition on the regression function. Besides, we show that if no further assumptions are made, there is no supervised method that outperforms the semi-supervised estimator proposed in this work. We establish that the best achievable rate for any supervised method is n^{--1/2} , even if the margin assumption is extremely favorable. On the contrary, semi-supervised estimators can achieve faster rates of convergence provided that sufficiently many unlabeled samples are available. We additionally perform numerical evaluation of the proposed algorithms empirically confirming our theoretical findings.

연구 동기 및 목표

• 제어된 기대 크기를 갖는 최소최대 프레임워크 내에서 신뢰집합 분류를 연구한다.
• 마진 조건과 헬더 스무쓰니스 조건 하에서 준감독 추정기의 최소최대 수렴 속도를 확립한다.
• 모든 감독 학습 방법이 수렴 속도 측면에서 제안된 준감독 추정기보다 뛰어날 수 없음을 증명한다.
• 무라벨 데이터가 풍부할 경우에만 빠른 수렴 속도가 달성 가능함을 보여준다.

제안 방법

• 무라벨 데이터로부터 유도된 임계값을 사용해 회귀 함수를 임계화하는 방식의 준감독 학습 기반의 신뢰집합 추정기를 제안한다.
• 누적분포함수 G(t) = ∑_{k=1}^K P(p_k(X) > t)의 일반화된 역함수 G^{-1}(β)를 사용해 β-오라클 신뢰집합을 정의한다.
• 무라벨 데이터로부터의 추정치 G^{-1}_N(β)와 회귀 함수의 실측 추정치를 사용한 플러그인 방법을 적용한다.
• 초과 위험 R_β(Γ) = P(Γ) + G^{-1}(β) I(Γ)를 분석하고 최소최대 상한 및 하한을 유도한다.
• 표본 과정 이론과 농도 불등식 도구를 활용해 진짜 임계값과 추정된 임계값 간의 차이를 경계한다.
• 합성 및 실세계 데이터에서 이론적 결과를 검증하기 위해 수치적 평가를 수행한다.

실험 결과

연구 질문

• RQ1 준감독 학습 방법이 감독 학습 방법보다 신뢰집합 분류에서 더 빠른 수렴 속도를 달성할 수 있는가?
• RQ2 마진 조건과 헬더 스무쓰니스 조건 하에서 신뢰집합 추정의 최소최대 수렴 속도는 무엇인가?
• RQ3 이 설정에서 감독 학습 추정기의 성능에 본질적인 한계가 존재하는가?
• RQ4 무라벨 데이터의 가용성이 신뢰집합 추정기의 수렴 속도에 어떤 영향을 미치는가?
• RQ5 상한에 포함된 로그 인자들을 제거할 수 있는가, 아니면 이들은 필수적인가?

주요 결과

• 모든 감독 학습 추정기의 수렴 속도는 유리한 마진 조건 하에서도 n^{-1/2}를 초과할 수 없다.
• 무라벨 샘플 수 N이 충분히 클 경우 준감독 학습 추정기는 n^{-1/2}를 초월하는 더 빠른 수렴 속도를 달성할 수 있다.
• 제안된 준감독 학습 추정기는 마진 조건과 헬더 스무쓰니스 조건 하에서 최소최대 최적 수렴 속도를 달성한다.
• 초과 위험과 이질성의 상한 및 하한은 오직 로그 인자 수준에서만 다름을 보이며, 이는 경계가 거의 날카로운 것을 시사한다.
• 회귀 함수의 CDF에 대한 연속성 가정은 잘 정의된 β-오라클의 존재와 함께, 기반 임계값 기반 추정기 유도에 필수적이다.
• 수치 실험 결과, 특히 N이 클 경우 준감독 학습 추정기가 감독 학습 대비 상당히 뛰어난 성능을 보임을 확인하였다.