[논문 리뷰] FrugalScore: Learning Cheaper, Lighter and Faster Evaluation Metricsfor Automatic Text Generation

Moussa Kamal Eddine, Guokan Shang외 2명|arXiv (Cornell University)|2021. 10. 16.

Topic Modeling참고 문헌 45인용 수 4

한 줄 요약

FrugalScore는 BERTScore와 MoverScore와 같이 비용이 많이 드는 사전 훈련된 언어 모델 기반 평가 지표를 작고 가볍고 빠른 모델로 압축하여 자동 텍스트 생성을 위한 경량화된, 빠르고 정확한 평가 지표를 학습하는 방법을 제안한다. 원본 지표의 성능의 96.8%를 유지하면서 파라미터 수를 35배 줄이고 추론 시간을 24배 줄여 자원이 제한된 사용자에게도 고성능 평가 접근이 가능하게 한다.

ABSTRACT

Fast and reliable evaluation metrics are key to R&D progress. While traditional natural language generation metrics are fast, they are not very reliable. Conversely, new metrics based on large pretrained language models are much more reliable, but require significant computational resources. In this paper, we propose FrugalScore, an approach to learn a fixed, low cost version of any expensive NLG metric, while retaining most of its original performance. Experiments with BERTScore and MoverScore on summarization and translation show that FrugalScore is on par with the original metrics (and sometimes better), while having several orders of magnitude less parameters and running several times faster. On average over all learned metrics, tasks, and variants, FrugalScore retains 96.8% of the performance, runs 24 times faster, and has 35 times less parameters than the original metrics. We make our trained metrics publicly available, to benefit the entire NLP community and in particular researchers and practitioners with limited resources.

연구 동기 및 목표

• 대규모 사전 훈련된 언어 모델 기반 평가 지표에 기반한 최신 NLG 평가 지표의 높은 계산 비용과 접근성 부족 문제를 해결하기 위해.
• BERTScore나 MoverScore와 같은 비용이 많이 드는 지표의 고정된, 저비용 대체 지표를 개발하여 인간 평가와 높은 상관관계를 유지하기 위해.
• 제한된 계산 자원을 가진 연구자와 실무자들이 신뢰할 수 있고, 빠르고 경량화된 평가 지표를 사용할 수 있도록 하기 위해.
• 모델 크기와 평가 비용을 분리하기 위해, 유일한 순방향 전파와 유사도 함수가 필요 없는 작고 컴팩트한 모델을 훈련하기 위해.
• 효율적인 미세조정과 데이터 정제를 통해, 압축된 지표가 일부 경우에서 원본 지표를 초월할 수 있음을 보여주기 위해.

제안 방법

• 다양한 출처에서, 즉 합성 데이터, 역번역, 실제 NLG 데이터셋에서 문장 쌍을 샘플링한다.
• 높은 성능을 보이는 기준 지표(예: BERTScore-BERT-Base)를 통해 샘플링된 쌍에 점수를 부여하여 지도 학습 데이터셋을 생성한다.
• 학습된 데이터셋을 기반으로 표준 미세조정 기법(학습률 2e-5, 배치 크기 32)을 사용해 작고 가벼운 모델(예: BERT-Small)을 훈련한다.
• 일반화 및 성능 향상을 위해, 미세조정 이전에 합성 데이터에서 계속 사전 훈련한다.
• 유사도 계산을 피하기 위해 추론 시 유일한 순방향 전파만을 사용하여 추론 시간을 크게 줄인다.
• TAC 및 WMT와 같은 표준 벤치마크에서 인간 평가와의 상관관계를 측정하기 위해, 압축된 모델을 평가한다.

실험 결과

연구 질문

• RQ1 비용이 많이 드는 대규모 사전 훈련된 언어 모델 기반 NLG 평가 지표의 성능을 근사할 수 있는 작고 가벼운 모델을 훈련시킬 수 있는가?
• RQ2 합성 데이터에서의 사전 훈련과 인간이 평가한 데이터에서의 미세조정이 압축된 지표의 일반화 및 정확도를 향상시키는가?
• RQ3 압축된 지표가 특정 환경에서 원본 지표를 초월할 수 있는가?
• RQ4 특히 랜덤 및 역번역으로 생성된 쌍을 포함한 다양한 데이터 소스의 포함 여부가 최종 지표 성능에 어떤 영향을 미치는가?
• RQ5 인간 평가와의 상관관계를 손상시키지 않고 평가 지표의 추론 비용을 얼마나 줄일 수 있는가?

주요 결과

• FrugalScore는 인간 평가와의 피어슨 상관계수로 측정했을 때, 모든 작업, 모델 및 변종 평균에서 원본 지표의 96.8% 성능을 유지한다.
• FrugalScore 모델은 원본 지표 대비 24배 더 빠르게 실행되어 훈련 루프와 대규모 실험에서 효율적으로 사용할 수 있다.
• 압축된 모델은 원본 지표 대비 35배 적은 파라미터를 가지며, 메모리와 계산 부담을 크게 줄인다.
• 합성 데이터에서 사전 훈련한 후에 미세조정을 수행할 경우, 직접 미세조정보다 TAC 데이터에서 평균 4.4점의 피어슨 상관계수 향상을 얻는다.
• 훈련 중에 랜덤 쌍을 제외하면 성능이 향상되며, 이는 데이터 분포 자체가 의미적 다양성을 충분히 반영하고 있기 때문에 부정 예제가 필요로 하지 않는다는 것을 시사한다.
• 역번역 전략이 성능 향상에 가장 크게 기여하며, 이는 메트릭 학습을 위한 데이터 증강에서의 가치를 강조한다.