[논문 리뷰] Inadequacies of Large Language Model Benchmarks in the Era of Generative Artificial Intelligence

Timothy R. McIntosh, Teo Sušnjak외 4명|arXiv (Cornell University)|2024. 02. 15.

Topic Modeling인용 수 42

한 줄 요약

본 논문은 23개의 최첨단 LLM 벤치마크를 비판적으로 평가하고, 기술, 프로세스, 사람 측면의 주요 불충분점을 식별하며, 향후 평가를 개선하기 위한 통합 프레임워크와 행동 auditing를 제안한다.

ABSTRACT

The rapid rise in popularity of Large Language Models (LLMs) with emerging capabilities has spurred public curiosity to evaluate and compare different LLMs, leading many researchers to propose their own LLM benchmarks. Noticing preliminary inadequacies in those benchmarks, we embarked on a study to critically assess 23 state-of-the-art LLM benchmarks, using our novel unified evaluation framework through the lenses of people, process, and technology, under the pillars of benchmark functionality and integrity. Our research uncovered significant limitations, including biases, difficulties in measuring genuine reasoning, adaptability, implementation inconsistencies, prompt engineering complexity, evaluator diversity, and the overlooking of cultural and ideological norms in one comprehensive assessment. Our discussions emphasized the urgent need for standardized methodologies, regulatory certainties, and ethical guidelines in light of Artificial Intelligence (AI) advancements, including advocating for an evolution from static benchmarks to dynamic behavioral profiling to accurately capture LLMs' complex behaviors and potential risks. Our study highlighted the necessity for a paradigm shift in LLM evaluation methodologies, underlining the importance of collaborative efforts for the development of universally accepted benchmarks and the enhancement of AI systems' integration into society.

연구 동기 및 목표

• 최신 LLM 벤치마크에서 기술적, 프로세스적, 인간적 차원에서의 공통 불충분점을 식별한다.
• 기능성과 보안을 중점으로 사이버 보안 원칙에 부합하는 통합 평가 프레임워크를 제안한다.
• 사례 23개 벤치마크를 분석하여 현실 세계의 적용성 및 안전성에서의 불충분점과 격차의 유병률을 평가한다.
• 포용성과 보안 인사이트를 강화하기 위해 LLM 행동 프로파일링 및 감사로 벤치마크를 확장하는 것을 제안한다.

제안 방법

• LLM 벤치마크를 사람, 프로세스, 기술을 통합하는 통합 평가 프레임워크를 개발한다.
• 역사적 반대 사고(counter-example) 접근법을 적용하여 불충분점을 식별하고, 이를 존재하지만 인식되지 않음(present-but-unacknowledged), 인식되었지만 해결되지 않음(acknowledged-but-unresolved), 또는 해결됨으로 분류한다.
• 벤치마크를 평가하기 위해 기술적, 프로세스적, 인간적 차원에서 구조화된 수작업 평가를 수행한다(부록 A–C).
• 불충분점과 그 유병률을 체계적으로 매핑하고 방법론에 대한 시사점을 논의하기 위해 23개 벤치마크를 분석한다(Table II 참조).
• 동적이고 행동 기반 벤치마킹 및 규제/윤리 가이드라인의 필요성을 강조한다.

실험 결과

연구 질문

• RQ1 최신 LLM 벤치마크의 공통 불충분점을 식별, 분류 및 설명하기 위해 어떤 방법이 있는가?
• RQ2 식별된 불충분점이 대중적인 벤치마크에 나타나며, 그것들이 얼마나 존재하거나 인식되었는가?
• RQ3 사회적 영향에 대해 기능성과 보안을 고려할 때 포괄적인 LLM 벤치마크 평가에는 무엇이 포함되어야 하는가?

주요 결과

• 벤치마크는 편향, 일관성 부족, 그리고 실제 추론과 기술적 최적화를 평가하는 데의 차이점에서의 간극을 보인다.
• 특히 개방형 맥락에서 평가의 유용성 도움성(helpfulness)과 무해성(harmlessness) 사이의 지속적인 긴장이 있다.
• 언어 다양성과 내재된 논리가 언어 간 차이로 인해 무시되며, 영어 또는 중국어 간략형으로 다국어 grounding이 제한된다.
• 평가에서 사이버 보안 측면이 자주 간과되며, 적대적이거나 이념적 조작 위험과 같은 요소가 놓친다.
• 더 포괄적이고 안전한 LLM 벤치마킹을 이끄는 사람-프로세스-기술 프레임워크를 제안한다.
• LLM의 행동 프로파일링 및 감사를 현행 벤치마크의 확장으로 제안하여 포용성과 보안 인사이트를 개선한다.