[논문 리뷰] Making learning more transparent using conformalized performance prediction

Matthew J. Holland|arXiv (Cornell University)|2020. 07. 09.

Machine Learning and Algorithms참고 문헌 19인용 수 4

한 줄 요약

이 논문은 기계학습 알고리즘의 새로운 데이터에 대한 성능 보장을 유효하고 校정되며 투명하게 제공할 수 있도록 확장한 새로운 프레임워크인 동형 성능 예측(CPP)을 소개한다. 알고리즘 자체를 향후 성능을 예측하는 예측기로 간주함으로써, 교환 가능성과 비일관성 점수를 사용하여 일반적인 학습 절차에 대해 유한 표본의 유효성과 校정을 보장하는 불확실성 정량화를 가능하게 한다. 이는 최소한의 가정 하에 유한 표본 유효성과 校정을 보장한다.

ABSTRACT

In this work, we study some novel applications of conformal inference techniques to the problem of providing machine learning procedures with more transparent, accurate, and practical performance guarantees. We provide a natural extension of the traditional conformal prediction framework, done in such a way that we can make valid and well-calibrated predictive statements about the future performance of arbitrary learning algorithms, when passed an as-yet unseen training set. In addition, we include some nascent empirical examples to illustrate potential applications.

연구 동기 및 목표

• 기계학습 알고리즘이 새로운 데이터에 적용될 때 투명하고 신뢰할 수 있는 성능 보장이 부족한 문제를 해결하기 위해.
• 예측 집합을 넘어서 학습 알고리즘 자체의 예상 성능을 정량화하기 위해 동형 예측을 확장하기 위해.
• 최소한의 가정 하에 알고리즘 성능에 대해 유한 표본, 분포에 관계없는 보장을 제공하기 위해.
• 기계학습 전문가가 아닌 이들에게도 접근 가능한 실용적이고 해석 가능한 성능 진술을 가능하게 하기 위해.
• 분류 및 최적화 분야의 실증 예제를 통해 방법의 유효성과 校정을 입증하기 위해.

제안 방법

• 기계학습 알고리즘의 새로운 데이터에서의 성능을 예측하기 위해 동형 예측을 확장한 동형 성능 예측(CPP)을 제안한다.
• 학습 세트를 사용해 알고리즘을 훈련시키고, 별도의 校정 세트를 사용해 보류된 데이터에서 알고리즘의 손실 기반 비일관성 점수를 계산한다.
• 알고리즘의 교환 가능성과 대칭성을 적용하여 성능 예측 간격의 유한 표본 유효성을 보장한다.
• 교차 검증 손실에서 계산한 비일관성 점수의 분위수를 사용해 가변 폭의 예측 집합을 구성한다.
• 데이터 분포와 알고리즘 행동에 대한 다양한 가정을 처리하기 위해 Z-free 및 Z-모odulated 변형을 활용한다.
• 교환 가능성 하에 유효하고 잘 校정된 예측 간격을 생성하기 위해 분할 동형 추론과 校정 세트를 사용한다.

실험 결과

연구 질문

• RQ1 동형 예측을 새로운 인스턴스의 예측을 넘어서 학습 알고리즘 자체의 성능 보장을 제공하도록 확장할 수 있는가?
• RQ2 임의의 학습 알고리즘의 일반화 성능에 대해 유효하고 유한 표본 기반의 신뢰 구간을 어떻게 구성할 수 있는가?
• RQ3 데이터와 알고리즘에 대해 최소한의 가정 하에 동형 성능 예측의 이론적 성질은 무엇인가?
• RQ4 이 방법은 분류 및 최적화와 같은 다양한 학습 작업에서 실제로 어떻게 작동하는가?
• RQ5 이 방법은 비전문가가 이해할 수 있는 잘 校정되고 투명한 성능 진술을 생성할 수 있는가?

주요 결과

• 제안된 동형 성능 예측 프레임워크는 유한 표본 유효성을 보장하여 진짜 성능이 최소한 명시된 신뢰 수준으로 예측 간격 내에 존재함을 보장한다.
• 손실가 거의 확실히 서로 다를 경우, 방법은 유한 표본에서 잘 校정된 예측 간격을 달성한다.
• 실증 결과에 따르면 CPP는 선형 및 비선형 SVM 간의 성능를 성공적으로 비교하며 신뢰할 수 있는 성능 간격을 제공한다.
• 스토케스틱 볼록 최적화에서 CPP는 배치 GD와 SGD를 효과적으로 구분하며 각 알고리즘에 대해 투명한 성능 범위를 제공한다.
• 알고리즘 대칭성과 데이터 교환 가능성에 대해 강건하여 다양한 학습 작업에 널리 적용 가능하다.
• 이론적 분석은 기저 데이터 분포가 알려지지 않은 경우에도 방법이 유효성과 校정을 유지함을 확인한다.