[논문 리뷰] PAC-Bayes bounds for stable algorithms with instance-dependent priors

Omar Rivasplata, Emilio Parrado-Hernández외 3명|arXiv (Cornell University)|2018. 06. 18.

Machine Learning and Algorithms인용 수 7

한 줄 요약

이 논문은 기대된 가설 출력 주위에 중심을 두고 있는 인스턴스에 의존하는 가우시안 사전을 사용하여 안정적인 힐버트 공간 값의 학습 알고리즘을 위한 새로운 PAC-Bayes 경계를 제안한다. 이는 SVM에 대해 기존의 안정성 기반 경계보다 더 날카럽고 실용적인 일반화 추정을 제공하는, 처음으로 비어 있지 않은 안정성 기반 PAC-Bayes 경계를 유도한다. 특히 정규화 파라미터가 작을 경우에 두드러진다.

ABSTRACT

PAC-Bayes bounds have been proposed to get risk estimates based on a training sample. In this paper the PAC-Bayes approach is combined with stability of the hypothesis learned by a Hilbert space valued algorithm. The PAC-Bayes setting is used with a Gaussian prior centered at the expected output. Thus a novelty of our paper is using priors defined in terms of the data-generating distribution. Our main result estimates the risk of the randomized algorithm in terms of the hypothesis stability coefficients. We also provide a new bound for the SVM classifier, which is compared to other known bounds experimentally. Ours appears to be the first stability-based bound that evaluates to non-trivial values.

연구 동기 및 목표

• 학습 알고리즘의 안정성에 기반하면서도 가설 클래스의 복잡성에 의존하지 않는 PAC-Bayes 일반화 경계를 개발하는 것.
• 기존의 안정성 기반 경계의 한계를 해결하는 것 — 특히 고정규화 모델에서 자주 발생하는 산술적(비어 있지 않은) 추정이 되지 않는 경우가 많다.
• 이론적 프레임워크를 서포트 벡터 머신(SVMs)에 적용하여 무작위화된 SVM 분류기의 구체적이고 비어 있지 않은 경계를 도출하는 것.
• 제안된 경계를 기존의 안정성 기반 경계 및 표준 PAC-Bayes 경계와 실수 데이터셋을 이용해 경험적으로 비교하여, 경계의 날카움과 모델 선택에서의 유용성을 평가하는 것.

제안 방법

• 힐버트 공간 값의 학습 알고리즘의 기대 출력 주위에 중심을 두고 있는 가우시안 사전을 사용하는 PAC-Bayes 프레임워크를 사용하며, 이 사전은 데이터 생성 분포에 의존한다.
• 학습된 가설이 훈련 세트의 미세한 변화에 얼마나 민감한지를 측정하는 민감도 계수를 통해 가설 안정성을 정의한다.
• 힐버트 공간 값의 알고리즘 출력에 대해 농도 부등식을 적용하여 안정성 계수의 관점에서 일반화 경계를 유도한다.
• 훈련 세트의 변화에 대한 가중 벡터의 안정성 분석을 통해 SVM에 대한 구체적 PAC-Bayes 경계를 도출하며, 이는 P@EW 경계로 이어진다.
• 무작위화 분류기의 랜덤화 분산 파라미터를 최적화하여 경계 추정치를 최소화함으로써 더 날카운 성능 인증을 가능하게 한다.
• 실수 데이터셋을 이용해 제안된 P@EW 경계를 기존의 경계들(예: Liu 등 2017, Bousquet & Elisseeff 2002)과 표준 PAC-Bayes 경계들과 경험적으로 비교한다.

실험 결과

연구 질문

• RQ1 데이터에 의존하는 사전을 사용하는 무작위화 학습 알고리즘에 대해, 안정적이면서도 비어 있지 않은 PAC-Bayes 경계를 구성할 수 있는가?
• RQ2 실제 데이터셋에서 기존의 안정성 기반 경계보다 날카움과 실용성 측면에서 제안된 경계가 더 우수한가?
• RQ3 정규화 파rameter가 변화할 때, 특히 정규화 파arameter가 변할 때, 경계가 SVM의 모델 선택을 위한 신뢰할 수 있는 성능 인증서로 기능할 수 있는가?
• RQ4 C와 σ와 같은 하이퍼파rameter의 민감도가 다른 알려진 경계들과 비교해 어떻게 되는가?
• RQ5 제안된 경계가 SVM에 대해 처음으로 비어 있지 않은 안정성 기반 PAC-Bayes 경계인가?

주요 결과

• 제안된 P@EW 경계는 다른 안정성 기반 경계들이 대부분의 하이퍼파rameter 설정에서 산술적(비어 있지 않은)이 아니었기 때문에, SVM에 대해 처음으로 비어 있지 않은 안정성 기반 PAC-Bayes 경계이다.
• P@EW 경계는 Bousquet과 Elisseeff(2002) 및 Liu 등(2017)의 안정성 기반 경계보다 특히 정규화 파arameter C의 값이 작을 경우에 크게 날카럽다.
• pim 데이터셋에서 P@EW 경계는 모델 선택에서 P@O 경계를 능가하며, 더 낮은 테스트 오차를 낳는 더 나은 하이퍼파aram터 조합(C, σ)을 식별한다.
• P@EW 경계는 다른 안정성 기반 경계보다 C에 대해 덜 민감하며, C가 증가함에 따라 여전히 유의미한 정보를 유지한다. 반면 기존 경계들은 C가 증가함에 따라 비어 있지 않게 된다.
• 경험 결과에 따르면, P@EW 경계는 다른 경계들보다 실제 테스트 오차와 더 밀접하게 상관관계를 가지며, 특히 rin 데이터셋에서 더 강력한 모델 선택 유용성을 보여준다.
• 경계는 랜덤화 분산의 선택에 민감하며, 최적의 성능은 σ²의 수치 최적화를 통한 경계 최소화를 통해 달성된다.