[논문 리뷰] Backward-Compatible Prediction Updates: A Probabilistic Approach

Frederik Träuble, Julius von Kügelgen외 4명|arXiv (Cornell University)|2021. 07. 02.

Machine Learning and Data Classification참고 문헌 47인용 수 10

한 줄 요약

이 논문은 기계학습 시스템에서 후행 호환성 있는 예측 업데이트를 위한 확률적이고 모델에 종속되지 않는 프레임워크를 제안한다. 여기서 새로운 모델 예측은 유익하고 안전할 경우에만 선택적으로 재평가되고 업데이트된다. 사후 불확실성 추정을 유지하고 엔트로피 기반 샘플링을 사용함으로써, 엄격한 계산 예산 내에서 부정적 전환이 최소화되고 정확도가 향상되며, CIFAR-10, ImageNet, ObjectNet에서 기존 방법들을 능가한다.

ABSTRACT

When machine learning systems meet real world applications, accuracy is only one of several requirements. In this paper, we assay a complementary perspective originating from the increasing availability of pre-trained and regularly improving state-of-the-art models. While new improved models develop at a fast pace, downstream tasks vary more slowly or stay constant. Assume that we have a large unlabelled data set for which we want to maintain accurate predictions. Whenever a new and presumably better ML models becomes available, we encounter two problems: (i) given a limited budget, which data points should be re-evaluated using the new model?; and (ii) if the new predictions differ from the current ones, should we update? Problem (i) is about compute cost, which matters for very large data sets and models. Problem (ii) is about maintaining consistency of the predictions, which can be highly relevant for downstream applications; our demand is to avoid negative flips, i.e., changing correct to incorrect predictions. In this paper, we formalize the Prediction Update Problem and present an efficient probabilistic approach as answer to the above questions. In extensive experiments on standard classification benchmark data sets, we show that our method outperforms alternative strategies along key metrics for backward-compatible prediction updates.

연구 동기 및 목표

• 새로운 향상된 사전 훈련된 모델이 제공될 때, 대규모 비라벨 데이터셋에서 효율적이고 안전하게 예측을 업데이트하는 데 도전하는 것.
• 예측 업데이트 문제를 정확도 향상, 후행 호환성(부정적 전환 방지), 계산 효율성 간의 트레이드오프로 공식화하는 것.
• 진정한 레이블에 대한 불확실성 추정을 유지하고 선택적 재평가 및 업데이트 결정을 이끄는 모델에 종속되지 않는 확률적 방법을 개발하는 것.
• 이전에 올바르게 예측된 예측이 악화되지 않도록 전체 정확도를 향상시키는 것을 확보함으로써, 신뢰와 일관성이 중요한 실제 시스템에서의 작동을 보장하는 것.
• 제안된 방법이 다양한 벤치마크 데이터셋에서 정확도, 후행 호환성, 낮은 비용이라는 세 가지 바람직한 성질을 동시에 달성할 수 있음을 입증하는 것.

제안 방법

• 모델의 예측을 시간에 따라 다수의 모델에서 수집하여 베이지안 신념 갱신 기반으로 진정한 레이블에 대한 사후 분포를 유지한다.
• 사용자 정의된 불확실성 예측을 위해 사후 분포의 레이블 엔트로피를 선택 기준으로 사용하여 계산 비용을 최소화한다.
• 비대칭 비용을 고려한 의사결정 규칙에 따라 예측 업데이트를 제어한다: 부정적 전환(정확 → 오류)은 양성 전환(오류 → 정확)보다 더 엄격히 처벌된다.
• 하드 레이블과 소프트 레이블 입력 모두를 지원하며, 개선된 불확실성 캘리브레이션을 위해 라플라스 스무딩을 통한 완전한 혼동 행렬 추정을 수행한다.
• 재학습이나 미세조정 없이 사전 훈련된 모델 출력에 기반해 예측을 점진적으로 통합한다.
• 정확도와 안전성의 균형을 맞추기 위해 Replace, Majority Vote, Confidence Thresholding (CR) 등의 다양한 업데이트 전략을 평가한다.

실험 결과

연구 질문

• RQ1 새로운 모델이 출시되었을 때 제한된 계산 자원을 고려해 어떤 데이터 포인트를 재평가할지를 효율적으로 선택할 수 있는가?
• RQ2 새로운 모델이 현재 예측과 다를 경우, 특히 새로운 오류를 유도하지 않도록 예측 업데이트를 결정하는 데 어떤 기준을 사용해야 하는가?
• RQ3 확률적이고 모델에 종속되지 않는 접근 방식이 실제 예측 시스템에서 정확도 향상, 부정적 전환 감소, 계산 비용 최소화를 동시에 달성할 수 있는가?
• RQ4 사후 신념 전파를 통한 불확실성 추정이 히우리스틱 전략 대비 선택 및 업데이트 성능에 어떤 영향을 미치는가?
• RQ5 이 방법이 다양한 데이터셋과 모델 업데이트 빈도에 대해 얼마나 일반화되는가?

주요 결과

• CIFAR-10에서 제안된 방법은 30% 예산 하에 99.68%의 top-1 정확도를 달성했으며, 부정적 전환 비율은 0.08%에 그쳤다. 이는 Replace(1.45% 부정적 전환)와 Majority Vote(1.0% 부정적 전환)를 뛰어넘었다.
• ImageNet에서 이 방법은 10% 예산 하에 99.9%의 top-1 정확도를 기록했으며, 부정적 전환 비율은 0.05%에 불과했다. 기존 전략 대비 오류 유발을 크게 줄였다.
• ObjectNet에서 이 방법은 10% 예산 하에 99.94%의 정확도를 유지했고, 부정적 전환 비율은 0.03%였다. 이는 분포 이탈에 대한 강건성과 높은 안전성을 보여주었다.
• CR-10 전략(신뢰도 임계값 10%)은 ImageNet에서 부정적 전환 비율을 0.03%로 줄였고, ObjectNet에서는 0.01%로 유지하면서 거의 최상의 정확도를 확보했다.
• 전체 재평가 대비 최대 10배의 계산 비용 절감(예: 215.6 대비 2453.8번의 추론 호출)을 이룩했으며, 정확도 손실는 최소한으로 유지되었다.
• 완전한 혼동 행렬과 라플라스 스무딩을 통한 소프트 레이블 추정은 불확실성 캘리브레이션을 향상시켜 대각선 추정만 사용하는 경우보다 더 나은 선택 및 업데이트 결정을 이끌어냈다.