[논문 리뷰] Online Active Model Selection for Pre-trained Classifiers

Mohammad Reza Karimi, Nezihe Merve Gürel외 4명|arXiv (Cornell University)|2020. 10. 19.

Machine Learning and Algorithms참고 문헌 33인용 수 6

한 줄 요약

이 논문은 실시간으로 정보성 없는 레이블이 부여된 예측 예제를 선택하여 최고의 사전 훈련된 분류기로의 고신뢰도 식별을 가능하게 하는 온라인 활성 모델 선택 알고리즘인 Model Picker를 제안한다. 이는 최소한의 레이블링으로도 높은 성능을 달성하며, ImageNet의 레이블 13%만으로 102개의 모델 중에서 90%의 신뢰도로 최고의 모델을 선택할 수 있다. 이는 레이블 효율성에서 기존 기준 대비 최대 2.5배 향상되고, 회귀(regret)에서는 1.3배 향상된 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Given $k$ pre-trained classifiers and a stream of unlabeled data examples, how can we actively decide when to query a label so that we can distinguish the best model from the rest while making a small number of queries? Answering this question has a profound impact on a range of practical scenarios. In this work, we design an online selective sampling approach that actively selects informative examples to label and outputs the best model with high probability at any round. Our algorithm can be used for online prediction tasks for both adversarial and stochastic streams. We establish several theoretical guarantees for our algorithm and extensively demonstrate its effectiveness in our experimental studies.

연구 동기 및 목표

• 제한된 레이블링 예산 하에서 k개의 모델 중에서 최고의 사전 훈련된 분류기를 선택하는 데 도전하는 데 목적이 있다.
• 대규모 데이터 풀을 저장하지 않고도 실시간으로 정보성 있는 예제를 선택하는 온라인 활성 학습 프레임워크를 설계하는 데 목적이 있다.
• i.i.d. 가정에 의존하지 않고도 스토케스틱 및 악성 데이터 스트림 모두에서 견고한 성능을 보장하는 데 목적이 있다.
• 순차적인 레이블 예측에서 회귀(regret)를 최소화하면서 진정으로 최고의 모델을 식별할 확률을 극대화하는 데 목적이 있다.
• 기존 방법보다 훨씬 적은 쿼리로도 정확한 모델 선택이 가능한 높은 레이블 효율성 달성하는 데 목적이 있다.

제안 방법

• Model Picker는 가상의 레이블 응답을 활용하여 각 도착한 예제가 최고의 모델을 구분하는 데 얼마나 정보적일지를 추정하는 랜덤화된 쿼리 전략을 사용한다.
• 모델 성능에 대한 신뢰구간을 유지하고, 모델 순위의 불확실성을 가장 줄일 가능성이 높은 예제를 동적으로 선택한다.
• 알고리즘은 온라인 및 순차적인 방식으로 모델 신뢰도를 업데이트하고 향후 쿼리 결정을 안내하기 위해 밴딧 스타일의 피드백 메커니즘을 활용한다.
• 악성 스트림에 대한 이론적 보장을 통합하여, 전체 레이블 접근 알고리즘의 최고 수준의 경계에 도달하는 무회귀 성능을 증명한다.
• 이 방법은 스트리밍 및 비정상적인 데이터 분포, 특히 개념 이동(concept drift)에 적용 가능하도록 확장 가능하고 스케일링에 적합하도록 설계되어 있다.
• 통계적 일致성과 모델 식별의 견고성을 보장하기 위해 중요도 가중치와 신뢰도 校정을 통합한다.

실험 결과

연구 질문

• RQ1 전체 레이블에 접근할 수 없는 조건에서 온라인 활성 모델 선택 알고리즘이 순차적인 레이블 예측에서 낮은 회귀(regret)를 달성할 수 있는가?
• RQ2 온라인 스트림 환경에서 최소한의 레이블링 쿼리로 k개의 모델 중에서 최고의 사전 훈련된 모델을 효율적으로 식별할 수 있는가?
• RQ3 알고리즘이 악성 데이터 스트림 하에서도 높은 모델 선택 신뢰도를 유지할 수 있는 정도는 어느 정도인가?
• RQ4 Model Picker의 레이블 효율성은 다양한 데이터셋에서 기존의 활성 학습 및 모델 선택 기준 대비 어떻게 비교되는가?
• RQ5 Model Picker가 진정으로 최고의 모델을 고려 확률이 높게 식별하기 위해 필요한 최소한의 레이블링 예산은 얼마인가?

주요 결과

• ImageNet 데이터셋에서 Model Picker는 레이블 인스턴스의 13%만으로 102개의 사전 훈련된 모델 중에서 90%의 신뢰도로 최고의 모델을 식별한다.
• 같은 정확도 목표를 위해 Model Picker는 Entropy 및 Efficient (Label-Efficient Prediction)를 포함한 경쟁 기준 대비 최대 2.5배 적은 레이블을 요구한다.
• Drift 데이터셋에서 Model Picker는 스트림의 11%만 레이블링한 후에 최고 모델의 정확도와 0.1% 이내의 정확도를 달성했으며, 최고의 베이스라인은 24%가 필요했다.
• EmoContext 데이터셋에서 Model Picker는 최고의 베이스라인 대비 최대 2.6배의 레이블링 비용 절감을 달성했으며, 진정으로 최고의 모델을 1.7배 적은 쿼리로 97%의 신뢰도로 식별했다.
• 실현 사례의 90번째 백분위수에서, Model Picker는 Drift 데이터셋 스트림의 8%만 레이블링한 후에 최고 모델 정확도와 0.1% 이내의 성능을 달성했다.
• 모든 데이터셋에서 기준 대비 최대 1.3배 낮은 회귀(regret)를 달성하여 순차적 예측 작업에서 뛰어난 성능을 입증했다.