[논문 리뷰] Predicting on the Edge: Identifying Where a Larger Model Does Better

Taman Narayan, Heinrich Jiang외 2명|arXiv (Cornell University)|2022. 02. 15.

Advanced Data Storage Technologies인용 수 4

한 줄 요약

이 논문은 작은 모델의 예측 불확실성을 사용하여 더 큰 모델이 향상될 가능성이 있는 예시를 식별하고, 필요한 경우에만 더 큰 모델로 위임하는 스위처 메커니즘을 제안한다. 핵심 발견은 더 큰 모델이 가장 많은 향상을 보이는 예시가 작은 모델이 가장 불확실한 경우이며, 스위처 모델은 더 큰 모델를 단독으로 사용하는 것보다 더 높은 성능과 효율성을 달성할 수 있다는 것이다.

ABSTRACT

Much effort has been devoted to making large and more accurate models, but relatively little has been put into understanding which examples are benefiting from the added complexity. In this paper, we demonstrate and analyze the surprisingly tight link between a model's predictive uncertainty on individual examples and the likelihood that larger models will improve prediction on them. Through extensive numerical studies on the T5 encoder-decoder architecture, we show that large models have the largest improvement on examples where the small model is most uncertain. On more certain examples, even those where the small model is not particularly accurate, large models are often unable to improve at all, and can even perform worse than the smaller model. Based on these findings, we show that a switcher model which defers examples to a larger model when a small model is uncertain can achieve striking improvements in performance and resource usage. We also explore committee-based uncertainty metrics that can be more effective but less practical.

연구 동기 및 목표

• 개별 예시에서 더 큰 모델이 더 작은 모델보다 왜, 언제 향상되는지 이해하는 것.
• 라벨이 없는 데이터를 요구하지 않고도 더 큰 모델이 더 나은 성능을 낼 가능성이 있는 예시를 식별하는 실용적인 방법을 개발하는 것.
• 불확실성과 모델 간 이견이 작은 모델과 큰 모델의 조합을 통해 효율적이고 적응적인 추론을 이끌 수 있도록 이끄는 방식을 탐색하는 것.
• 위원회 기반 불확실성 또는 모델 재학습 시 발생하는 이견(Churn)이 개별 모델의 불확실성보다 더 큰 모델의 성능 향상 예측에서 더 뛰어나지 않는지 평가하는 것.

제안 방법

• 작은 모델을 훈련하고, 그 예측 불확실성(예: 소프트맥스 출력의 엔트로피)을 더 큰 모델이 도움을 받을 가능성이 있는 예시를 식별하는 대체 지표로 사용한다.
• 작은 모델의 불확실성이 임계값을 초과할 경우에만 더 큰 모델로 예측을 위임하는 스위처 모델을 구현한다.
• 다양한 재학습된 작은 모델 간의 개별 예시 이견(Churn)을 사용하여 모델 간 일치도와 향상 가능성 평가를 위한 불확실성 대체 지표로 활용한다.
• 개별 모델의 불확실성, 위원회 기반 불확실성(여러 작은 모델의 불확실성 평균값), 및 재학습 간 예측 분산(Churn)이 더 큰 모델의 성능 향상 예측에 얼마나 효과적인지 비교한다.
• 다양한 데이터셋과 모델 쌍에서 스위처 모델의 성능 및 계산 효율성을, 모든 예시에 대해 더 큰 모델을 사용하는 것과 비교 평가한다.
• T5 인코더-디코더 아키텍처를 사용하여 다양한 NLP 작업에서 불확실성, 모델 간 이견, 성능 향상 간의 관계를 분석한다.

실험 결과

연구 질문

• RQ1 더 큰 모델이 더 작은 모델보다 가장 큰 향상을 보이는 예시는 무엇인가요?
• RQ2 작은 모델의 불확실성이 더 큰 모델이 더 나은 성능을 낼 가능성이 있는 곳을 신뢰성 있게 예측할 수 있나요?
• RQ3 작은 모델의 불확실성에 기반해 더 큰 모델로 위임하는 스위처 모델이 더 큰 모델를 단독으로 사용하는 것보다 성능이 뛰어나지 않는 조건은 무엇인가요?
• RQ4 재학습된 작은 모델 간의 모델 이견(Churn)이 개별 불확실성보다 더 큰 모델의 향상 예측에서 얼마나 우수한가요?
• RQ5 왜 더 작은 모델이 매우 확신할 때 더 큰 모델이 성능이 떨어지는 경우가 발생하나요?

주요 결과

• 더 큰 모델은 더 작은 모델이 가장 불확실한 예시에서 가장 큰 성능 향상을 보이며, 더 작은 모델이 매우 자신감을 가진 예시에서는 거의 향상이 없거나 전혀 향상되지 않는다.
• 작은 모델이 확신할 때가 많은 비율의 예시—특히 그런 경우에 더 큰 모델은 향상되지 않으며, 오히려 더 작은 모델보다 성능이 떨어질 수도 있다.
• 작은 모델이 불확실할 경우에만 더 큰 모델로 위임하는 스위처 모델은 상당한 계산 비용 절감을 이끌 수 있으며, 특히 두 모델의 성능이 유사할 경우 더 큰 모델를 단독으로 사용하는 것보다 더 뛰어난 성능을 낼 수 있다.
• 다양한 작은 모델 재학습 간의 예측 이견(즉, 재학습 간 예측 불일치)은 개별 모델의 불확실성이나 위원회 기반 불확실성보다 더 강력한 더 큰 모델의 향상 예측 지표이다.
• 위원회 기반 불확실성 추정기는 이론적으로는 더 강력하지만, 실제로는 더 큰 모델이 이미 쉽게 처리할 수 있는 예시를 식별하는 경향이 있어 스위처 모델이 더 큰 모델를 능가할 수 있는 능력이 제한된다.
• 작은 모델이 매우 불확실한 예시가 더 큰 모델에게는 '더 쉽다'는 반직관적인 결과는, 불확실성이 진정으로 예측의 어려움 때문이 아니라 모델의 능력 부족에서 비롯되기 때문이다.