[논문 리뷰] Universal Supervised Learning for Individual Data

Yaniv Fogel, Meir Feder|arXiv (Cornell University)|2018. 12. 22.

Domain Adaptation and Few-Shot Learning참고 문헌 2인용 수 7

한 줄 요약

이 논문은 로그 손실 하에서 개인 데이터에 대한 보편적인 지도 학습 프레임워크인 예측형 정규화 최대 가능성(pNML)을 제안한다. pNML은 진짜 테스트 레이블을 알고 있는 지니와의 최소 최대 최적 경쟁을 가능하게 한다. pNML은 유한한 훈련 데이터에서 ERM보다 강건성과 일반화 능력에서 뛰어나며, 특정 테스트 인스턴스에 대한 학습 가능성의 포인트와이즈 측도를 제공한다.

ABSTRACT

Universal supervised learning is considered from an information theoretic point of view following the universal prediction approach, see Merhav and Feder (1998). We consider the standard supervised "batch" learning where prediction is done on a test sample once the entire training data is observed, and the individual setting where the features and labels, both in the training and test, are specific individual quantities. The information theoretic approach naturally uses the self-information loss or log-loss. Our results provide universal learning schemes that compete with a "genie" (or reference) that knows the true test label. In particular, it is demonstrated that the main proposed scheme, termed Predictive Normalized Maximum Likelihood (pNML), is a robust learning solution that outperforms the current leading approach based on Empirical Risk Minimization (ERM). Furthermore, the pNML construction provides a pointwise indication for the learnability of the specific test challenge with the given training examples

연구 동기 및 목표

• 데이터 생성에 대한 확률적 가정에 의존하지 않는, 개인 데이터에 대한 보편적인 학습 프레임워크를 개발하는 것.
• 딥 뉴럴 네트워크와 같은 현대 모델의 일반화 행동을 설명하는 데 한계가 있는传통적 방법(예: ERM 및 PAC 학습)의 문제점을 해결하는 것.
• 로그 손실 하에서 최적의 지니 기준에 대한 회귀를 최소화함으로써, ERM에 대한 강건하고 정보 이론적인 대안을 제공하는 것.
• pNML 회귀를 기반으로 특정 테스트 샘플에 대한 학습 가능성의 포인트와이즈 측도를 도입하는 것.
• pNML 회귀가 감소하는 조건, 특히 모델 클래스의 구조와 표본 수와의 관계를 탐색하는 것.

제안 방법

• 개별 설정에서 보편적인 지도 학습을 위한 최소 최대 최적 해법으로 예측형 정규화 최대 가능성(pNML)을 제안한다.
• 정보 이론적 표현이 우아하게 가능하도록, 로그 손실(자기정보 손실)을 평가 기준으로 사용한다.
• pNML 학습자를 진짜 레이블을 알고 있는 지니와의 비교에서 최대 회귀를 최소화하는 방식으로 정의한다.
• 교차 검증 유사 조건에서 성능을 평가하기 위해 회귀 측도의 리브-원-아웃 변형을 유도한다.
• 조각별로 일정한 확률을 가진 1차원 임계값 모델과 같은 단순한 모델 클래스에 pNML 프레임워크를 적용한다.
• 훈련 크기와 테스트 입력에 따른 회귀를 평가하기 위해 균일 분포를 가진 특징과 알려진 진짜 가설을 가진 시뮬레이션을 수행한다.

실험 결과

연구 질문

• RQ1 진짜 테스트 레이블을 알고 있는 지니와 경쟁할 수 있는 개인 데이터에 대한 보편적인 학습 체계는 어떻게 구성할 수 있는가?
• RQ2 pNML은 어떤 방식으로, 특히 제한된 훈련 데이터에서 ERM보다 강건성과 일반화 능력에서 뛰어나게 되는가?
• RQ3 모델 클래스에 어떤 조건이 성립할 경우 pNML 회귀가 작아지며, 특히 훈련 크기 N이 증가함에 따라 어떻게 변화하는가?
• RQ4 pNML은 특정 테스트 인스턴스에 대한 학습 가능성의 포인트와이즈 지표로 사용될 수 있는가?
• RQ5 작은 pNML 회귀와 경험적 리스크 최소화자(empirical risk minimizer)의 일반화 오차 사이의 관계는 무엇인가?

주요 결과

• pNML 방법은 유한 표본 설정에서 ERM보다 항상 더 낮은 회귀를 보이며, 강건성과 일반화 능력에서 뛰어난 성능을 보인다.
• 회귀는 임계값 매개변수 b 근처 영역에서 가장 높으며, 이는 훈련 데이터의 미세한 변화가 최적 모델에 크게 영향을 줄 수 있음을 의미한다. 이러한 불확실성은 N이 증가함에 따라 감소한다.
• N이 커질수록 b 근처의 임계 영역 외부에서 회귀는 O(1/N)로 감소함을 보이며, 이는 안정성과 수렴성 향상을 의미한다.
• 임계값 b가 특징 공간의 중심(예: 0.5)에서 멀어질수록, 훈련 예제 수가 적은 쪽에서 회귀가 증가한다. 이는 데이터 지원이 감소하기 때문이다.
• pNML 프레임워크는 특정 테스트 인스턴스에 대한 예측에 대한 신뢰도가 높다는 것을 나타내는 포인트와이즈 학습 가능성 측도를 제공한다.
• pNML의 두 번째 보편적 확장은 모델 클래스 자체가 알려져 있지 않은 상황에서도 유망한 성능을 보이며, 계층적 또는 중첩된 모델 선택에의 응용 가능성을 시사한다.