[논문 리뷰] Unveiling LLM Evaluation Focused on Metrics: Challenges and Solutions

Taojun Hu, Xiao-Hua Zhou|arXiv (Cornell University)|2024. 04. 14.

Topic Modeling인용 수 19

한 줄 요약

지표에 초점을 맞춘 LLM 평가에 대한 메트릭 중심 설문으로, 수학적 공식, 통계적 해석 및 실용적 지침을 제공하며 생물의학 LLM 사례 연구가 포함됩니다.

ABSTRACT

Natural Language Processing (NLP) is witnessing a remarkable breakthrough driven by the success of Large Language Models (LLMs). LLMs have gained significant attention across academia and industry for their versatile applications in text generation, question answering, and text summarization. As the landscape of NLP evolves with an increasing number of domain-specific LLMs employing diverse techniques and trained on various corpus, evaluating performance of these models becomes paramount. To quantify the performance, it's crucial to have a comprehensive grasp of existing metrics. Among the evaluation, metrics which quantifying the performance of LLMs play a pivotal role. This paper offers a comprehensive exploration of LLM evaluation from a metrics perspective, providing insights into the selection and interpretation of metrics currently in use. Our main goal is to elucidate their mathematical formulations and statistical interpretations. We shed light on the application of these metrics using recent Biomedical LLMs. Additionally, we offer a succinct comparison of these metrics, aiding researchers in selecting appropriate metrics for diverse tasks. The overarching goal is to furnish researchers with a pragmatic guide for effective LLM evaluation and metric selection, thereby advancing the understanding and application of these large language models.

연구 동기 및 목표

• LLM 평가 지표를 서로 다른 유형으로 분류하고 사용 방법을 설명한다.
• 각 지표에 대한 수학적 형식화와 통계적 해석을 제시한다.
• 논의된 지표 및 구현 도구를 호스팅하는 저장소를 식별한다.
• 최근 개발된 생물의학 LLM에 대한 지표의 적용을 선보여 벤치마킹을 안내한다.

제안 방법

• 지표를 세 가지 유형으로 분류한다: 다중 분류(MC), 토큰 유사도(TS), 질의응답(QA) 지표.
• 각 지표에 대한 수학적 표현식을 제시하고 그것들의 통계적 해석을 논의한다.
• 이 지표를 적용하기 위한 벤치마크 저장소와 파이썬 구현을 강조한다.
• 생물의학 LLM 사례 연구와 관련 데이터 세트를 통해 지표 적용을 설명한다.

실험 결과

연구 질문

• RQ1 LLM 평가에 사용되는 주요 지표 유형은 무엇이며 수학적으로 어떻게 정의되는가?
• RQ2 LLM을 평가할 때 연구자들은 이 지표들을 통계적으로 어떻게 해석해야 하는가?
• RQ3 실제로 이 지표들을 구현하기 위해 이용 가능한 저장소와 도구는 무엇인가?
• RQ4 생물의학 LLM 평가에서 이러한 지표를 모델 벤치마킹에 어떻게 적용할 수 있는가?

주요 결과

• 지표는 명확한 형식으로 MC, TS, QA 유형으로 분류될 수 있다.
• 통계적 해석은 지표를 확률 개념 및 샘플링 고려사항과 연결한다.
• Macro-F1이 클래스 표현의 균형을 위해 선호되고, micro-F1은 전체 정확도와 일치한다.
• Perplexity, BLEU, ROUGE, METEOR, and BertScore는 다양한 정밀도, 재현율 및 의미론에 초점을 두는 주요 TS 지표이다.
• QA 지표 SaCC, LaCC, 및 MRR은 QA 과제에서 순위 및 부분 정 정확성 측면을 포착한다.
• 본 연구는 이러한 지표를 구현하기 위한 저장소와 Python 함수들을 제공하고 생물의학 LLM 적용 사례를 보여준다.