[논문 리뷰] The Pessimistic Limits of Margin-based Losses in Semi-supervised Learning.

Jesse H. Krijthe, Marco Loog|arXiv (Cornell University)|2016. 12. 28.

Machine Learning and Data Classification참고 문헌 5인용 수 1

한 줄 요약

이 논문은 선형 분류기에서 볼록이고 감소하는 마진 기반 대체 손실 함수에 대해, 동일한 손실을 레이블이 있는 데이터와 없는 데이터에 대해 측정했을 때, 준지도 학습보다 성능 향상을 보장할 수 없는 준지도 학습 방법이 존재한다는 것을 보여준다. 그러나 증가하는 볼록 마진 기반 손실 함수의 경우, 이론적으로 안전한 향상이 가능하며, 이러한 손실 함수의 준지도 학습에서의 유용성에 대한 근본적인 한계를 설정한다.

ABSTRACT

Consider a classification problem where we have both labeled and unlabeled data available. We show that for linear classifiers defined by convex margin-based surrogate losses that are decreasing, it is impossible to construct any semi-supervised approach that is able to guarantee an improvement over the supervised classifier measured by this surrogate loss on the labeled and unlabeled data. For convex margin-based loss functions that also increase, we demonstrate safe improvements are possible.

연구 동기 및 목표

• 준지도 학습에서 볼록 마진 기반 대체 손실 함수를 사용할 때의 이론적 한계를 조사하는 것.
• 이러한 손실 함수를 사용할 때 준지도 학습이 지도 학습보다 일반화 성능을 증명 가능하게 향상시킬 수 있는지 여부를 규명하는 것.
• 손실 함수의 단조성(증가 또는 감소)에 따라 마진 기반 손실 함수를 분류하여, 안전한 준지도 학습 향상의 잠재력을 평가하는 것.
• 준지도 학습 방법이 지도 학습 기반 모델보다 성능 향상을 보장할 수 있는 조건을 설정하는 것.

제안 방법

• 분석은 단조성(감소 또는 증가)이 있는 볼록 마진 기반 대체 손실 함수를 사용해 훈련된 선형 분류기에 집중한다.
• 논문은 레이블이 있는 데이터와 없는 데이터에 동일한 대체 손실 함수를 사용하여 준지도 학습 방법의 성능을 평가하기 위한 이론적 프레임워크를 정의한다.
• 감소하는 마진 기반 손실 함수의 경우, 어떤 준지도 학습 방법도 지도 학습 분류기보다 성능 향상을 보장할 수 있음을 증명한다.
• 증가하는 마진 기반 손실 함수의 경우, 이론적으로 안전한 향상이 가능한 조건을 구성한다.
• 분석은 일반화 경계의 맥락에서 볼록 최적화 원리와 대체 손실 함수의 성질에 기반한다.

실험 결과

연구 질문

• RQ1 볼록이고 감소하는 마진 기반 대체 손실 함수를 사용한 준지도 학습이 지도 학습보다 성능 향상을 보장할 수 있는가?
• RQ2 증가하는 마진 기반 손실 함수를 사용할 때 준지도 학습 방법이 일반화 성능 향상을 증명 가능하게 할 수 있는 조건이 존재하는가?
• RQ3 선형 분류기에서 준지도 학습에 마진 기반 손실 함수를 사용할 때 존재하는 근본적인 한계는 무엇인가?
• RQ4 대체 손실 함수의 단조성이 안전한 준지도 학습 향상의 가능성에 어떻게 영향을 미치는가?

주요 결과

• 감소하는 볼록 마진 기반 대체 손실 함수에 대해서는, 레이블이 있는 데이터와 없는 데이터에 동일한 손실을 측정했을 때, 어떤 준지도 학습 방법도 지도 학습 분류기보다 성능 향상을 보장할 수 없다.
• 반대로, 증가하는 볼록 마진 기반 손실 함수의 경우, 준지도 학습을 통해 이론적으로 안전한 일반화 성능 향상이 가능하다.
• 감소하는 손실 함수에 대한 불가능성 결과는 지정된 조건 하에 모든 이러한 손실 함수에 대해 일반적으로 성립한다.
• 이론적 프레임워크는 명확한 이원론을 설정한다: 손실 함수의 단조성이 준지도 학습 성과 향상이 증명 가능하게 되는지 여부를 결정한다.