[논문 리뷰] Quantifying Learning Guarantees for Convex but Inconsistent Surrogates

Kirill Struminsky, Simon Lacoste-Julien외 1명|arXiv (Cornell University)|2018. 10. 01.

Machine Learning and Data Classification인용 수 2

한 줄 요약

이 논문은 볼록 학습에서 이차 서로서테이트의 校정 함수에 대한 새로운 하한을 제안하며, 기계 학습 서로서테이트의 부일관성에 대한 정량적 분석을 가능하게 한다. 이는 비일관성 있는 서로서테이트가 여전히 표본 복잡도와 최적화 보장을 제공할 수 있음을 보여주며, 다중 클래스 분류 및 랭킹에의 응용에서 근사 정확도와 계산 효율성 사이의 트레이드오프를 보여준다.

ABSTRACT

We study consistency properties of machine learning methods based on minimizing convex surrogates. We extend the recent framework of Osokin et al. (2017) for the quantitative analysis of consistency properties to the case of inconsistent surrogates. Our key technical contribution consists in a new lower bound on the calibration function for the quadratic surrogate, which is non-trivial (not always zero) for inconsistent cases. The new bound allows to quantify the level of inconsistency of the setting and shows how learning with inconsistent surrogates can have guarantees on sample complexity and optimization difficulty. We apply our theory to two concrete cases: multi-class classification with the tree-structured loss and ranking with the mean average precision loss. The results show the approximation-computation trade-offs caused by inconsistent surrogates and their potential benefits.

연구 동기 및 목표

• Osokin 등 (2017) 의 정량적 일관성 프레임워크를 비일관성 있는 서로서테이트로 확장하기 위해.
• 비일관성 설정에서 이차 서로서테이트의 校정 함수에 대한 비자명한 하한을 개발하기 위해.
• 부일관성 수준과 표본 복잡도 및 최적화 난이도에 미치는 영향을 정량화하기 위해.
• 나무 구조 손실을 가진 다중 클래스 분류 및 평균 평균 정밀도 손실을 가진 랭킹과 같은 실세계 응용을 분석하기 위해.

제안 방법

• 비일관성 경우에도 유효한, 이차 서로서테이트의 校정 함수에 대한 새로운 비자명한 하한을 유도하기 위해.
• 이 하한을 사용하여 서로서테이트 기반 학습에서의 부일관성 정도를 평가하기 위해.
• 이 하한을 사용하여 비일관성 학습 설정에서의 표본 복잡도와 최적화 난이도를 정량화하기 위해.
• 다중 클래스 분류(나무 구조 손실)와 랭킹(평균 평균 정밀도 손실)과 같은 두 가지 구체적 응용을 분석하기 위해.
• 이론적 하한을 통해 근사 오차와 계산 비용 사이의 트레이드오프를 수립하기 위해.

실험 결과

연구 질문

• RQ1 교정 함수를 사용하여 볼록 서로서테이트의 부일관성을 정량적으로 측정할 수 있는 방법은 무엇인가?
• RQ2 서로서테이트 기반 학습에서 부일관성이 표본 복잡도와 최적화 난이도에 어떤 영향을 미치는가?
• RQ3 비일관성 있는 서로서테이트가 다중 클래스 분류에서 근사-계산 트레이드오프에 어떻게 영향을 미치는가?
• RQ4 평균 평균 정밀도 손실을 가진 랭킹 작업에서 비일관성 있는 서로서테이트가 학습 보장에 얼마나 여전히 기여할 수 있는가?
• RQ5 이차 서로서테이트의 교정 함수는 부일관성을 특성화하는 데 어떤 역할을 하는가?

주요 결과

• 제안된 교정 함수에 대한 하한은 비일관성 설정에서도 비자명하여, 부일관성의 정량적 분석을 가능하게 한다.
• 비일관성 있는 서로서테이트 역시 표본 복잡도와 최적화 난이도에 대한 의미 있는 보장을 제공한다.
• 이론적 분석을 통해 나무 구조 손실을 가진 다중 클래스 분류에서 근사 정확도와 계산 효율성 사이의 트레이드오프를 드러낸다.
• 평균 평균 정밀도 손실을 가진 랭킹 작업에서는 비일관성 있는 서로서테이트가 근사 품질과 최적화 비용 사이의 측정 가능한 트레이드오프를 유도한다.
• 이 프레임워크는 두 가지 실세계 학습 과제에서 부일관성 수준과 그 영향을 성공적으로 정량화한다.