[논문 리뷰] Compression, Generalization and Learning

Marco C. Campi, Simone Garatti|arXiv (Cornell University)|2023. 01. 30.

Machine Learning and Algorithms인용 수 5

한 줄 요약

이 논문은 압축 집합의 크기와 압축에서의 변화 확률 사이의 새로운 이론적 프레임워크를 수립하며, 데이터 분포에 대한 가정 없이 유한 표본에 대한 오분류 위험에 대한 유한 표본 경계를 제시한다. 이는 압축 집합의 기수를 일관되게 변화 확률의 추정치로 사용함으로써, 선호 조건을 통해 엄밀하고 무편향된 경계를 가능하게 한다.

ABSTRACT

A compression function is a map that slims down an observational set into a subset of reduced size, while preserving its informational content. In multiple applications, the condition that one new observation makes the compressed set change is interpreted that this observation brings in extra information and, in learning theory, this corresponds to misclassification, or misprediction. In this paper, we lay the foundations of a new theory that allows one to keep control on the probability of change of compression (which maps into the statistical "risk" in learning applications). Under suitable conditions, the cardinality of the compressed set is shown to be a consistent estimator of the probability of change of compression (without any upper limit on the size of the compressed set); moreover, unprecedentedly tight finite-sample bounds to evaluate the probability of change of compression are obtained under a generally applicable condition of preference. All results are usable in a fully agnostic setup, i.e., without requiring any a priori knowledge on the probability distribution of the observations. Not only these results offer a valid support to develop trust in observation-driven methodologies, they also play a fundamental role in learning techniques as a tool for hyper-parameter tuning.

연구 동기 및 목표

• 데이터 분포에 대한 사전 지식 없이도 압축 함수에서의 변화 확률을 제어하는 이론을 개발하는 것.
• 무한대의 집합 크기 조건 하에서도 압축 집합의 기수를 변화 확률의 일관된 추정치로 보장하는 것.
• 일반적인 선호 조건을 사용하여 오분류 위험에 대해 이전에 없던 엄밀한 유한 표본 경계를 도출하는 것.
• 압축 이론을 지도 및 비지도 학습, 기타 영역에 완전히 무편향 방식으로 적용할 수 있도록 하는 것.
• 엄밀한 통계적 제어를 통해 관찰 기반 방법론과 하이퍼파rameter 튜닝에 대한 신뢰를 지원하는 것.

제안 방법

• 관측 집합을 정보를 유지하면서 축소된 부분집합으로 매핑하는 압축 함수를 도입한다.
• 압축의 변화 확률을 새로운 관측치가 압축 집합을 변경할 가능성이란 정의한다.
• 데이터 분포에 관계없이 유한 표본 경계를 도출하기 위해 선호 조건을 사용한다.
• 다중집합과 확률 측도를 포함한 측도 이론적 구성 방법을 사용하여 압축 집합의 진화를 모델링한다.
• 근사 측도 수열을 이용한 극한 추론을 통해 엄밀한 경계를 증명하며, 비감소 함수와 질량 재분배를 활용한다.
• 압축 집합의 기수가 변화 위험을 일관되게 추정함을 입증하며, 크기에 상한이 없더라도 성립한다.

실험 결과

연구 질문

• RQ1 데이터 분포를 가정하지 않고도, 유한 표본에서 압축 함수의 변화 확률을 어떻게 경계할 수 있는가?
• RQ2 압축 집합의 크기가 압축에서의 변화 확률에 대해 일관된 추정치로 사용될 수 있는가?
• RQ3 어떤 조건이 압축을 통해 오분류 위험에 대해 엄밀하고 무편향된 유한 표본 경계를 도출할 수 있게 하는가?
• RQ4 선호 조건은 기존 통계학적 학습 이론 대비 어떻게 더 엄밀한 경계를 가능하게 하는가?
• RQ5 제안된 프레임워크는 데이터 분포에 대한 가정 없이 학습 시스템의 신뢰성 및 하이퍼파rameter 튜닝을 어떻게 지원하는가?

주요 결과

• 압축 집합의 기수는 집합 크기가 유한하지 않더라도 변화 확률의 일관된 추정치로 기능한다.
• 일반적인 선호 조건 하에서 변화 확률에 대한 유한 표본 경계가 도출되었으며, 이는 이전 방법보다 더 엄밀한 보장을 제공한다.
• 경계는 데이터 분포에 대한 사전 지식이 필요 없어 다양한 학습 설정에 적용 가능하다.
• 압축 분석만으로도 지도 및 비지도 학습 환경에서 위험 평가를 가능하게 한다.
• 이론적 결과는 압축 크기를 통계적 위험의 대체 측정치로 사용할 수 있음을 뒷받침하며, 학습 시스템의 하이퍼파rameter 튜닝을 촉진한다.
• 증명 기법은 제약 조건을 유지하면서 최적 경계로 수렴하는 근사 측도 수열을 구성함으로써 엄밀함을 보장한다.