[논문 리뷰] Rethinking Model Evaluation as Narrowing the Socio-Technical Gap

Q. Vera Liao, Ziang Xiao|arXiv (Cornell University)|2023. 06. 01.

Topic Modeling인용 수 7

한 줄 요약

이 논문은 대규모 언어 모델(Large Language Models, LLMs)의 평가를 재정의하여 사회기술적 격차를 좁히는 수단으로 삼는다. 즉, 기술적 능력을 실제 인간의 필요와 맞추는 것이다. 평가 방법은 맥락적 현실성과 인간 요구의 현실성에 기반하여, HCI와 XAI의 통찰을 통합함으로써 실용성과 타당성을 균형 잡는 다양한 맥락 인식 평가 프레임워크를 개발한다.

ABSTRACT

The recent development of generative large language models (LLMs) poses new challenges for model evaluation that the research community and industry have been grappling with. While the versatile capabilities of these models ignite much excitement, they also inevitably make a leap toward homogenization: powering a wide range of applications with a single, often referred to as ``general-purpose'', model. In this position paper, we argue that model evaluation practices must take on a critical task to cope with the challenges and responsibilities brought by this homogenization: providing valid assessments for whether and how much human needs in diverse downstream use cases can be satisfied by the given model ( extit{socio-technical gap}). By drawing on lessons about improving research realism from the social sciences, human-computer interaction (HCI), and the interdisciplinary field of explainable AI (XAI), we urge the community to develop evaluation methods based on real-world contexts and human requirements, and embrace diverse evaluation methods with an acknowledgment of trade-offs between realisms and pragmatic costs to conduct the evaluation. By mapping HCI and current NLG evaluation methods, we identify opportunities for evaluation methods for LLMs to narrow the socio-technical gap and pose open questions.

연구 동기 및 목표

• 기존 평가 지표가 실제 활용 가능성과 사회적 영향을 제대로 반영하지 못하는 LLM 평가 위기의 심화를 다루기.
• 일부 일반 목적 모델이 다양한 응용 분야를 지배하면서도 그 적합성에 대한 충분한 평가가 이루어지지 않는 모델 동질화의 위험을 부각하기.
• 모델이 할 수 있는 일과 사용자가 실제 구현 환경에서 실제로 필요한 일 사이의 격차를 해소하는 데 초점을 맞춘 평가로의 재정의.
• 사용자 필요에 대한 현실성과 실현 가능성 사이의 균형을 고려한 평가 방법을 촉진하며, 비용과 대표성 사이의 상충 관계를 인정하기.
• 단지 기술적 성능이나 합성 벤치마크에 국한되지 않고 실제 활용 사례에 기반한 평가 프레임워크 개발을 장려하기.

제안 방법

• 실제 활용 환경에서의 기술적 능력과 인간 중심 요구사항 간의 괴리, 즉 '사회기술적 격차' 개념을 도입하기.
• 맥락 현실성과 인간 요구 현실성이라는 두 축을 기준으로 기존의 자연어 생성(NLG) 및 HCI 평가 방법을 맵핑하여 평가 방법의 상충 관계를 규명하기.
• 실제 사용자 행동에 기반하고 실제 사용자 데이터와 검증된 사용 사례 기반 시뮬레이션 평가를 제안하여 정밀도를 높이고 순수 자동화에 대한 의존도를 줄이기.
• UX 연구자나 디자이너가 사용자 행동을 시뮬레이션함으로써 모델의 행동을 탐구하고 위험 요소나 한계를 드러내는 전문가 중심의 정성적 평가를 지지하기.
• 현장 연구의 통찰을 활용하여 평가를 '외부에서부터' 체계화하는 것을 제안하며, 이는 고차원 평가 프rotocol의 설계와 검증에 기여한다.
• 일반적인 지표인 ROUGE나 BERTScore에 의존하기보다는, 공감성, 공정성, 신뢰성과 같은 인간이 바라는 구성요소를 측정할 수 있는 지표 개발을 권장하기.

실험 결과

연구 질문

• RQ1 기술적 벤치마크가 아닌 실제 인간의 필요와 맥락적 사용 방식을 더 잘 반영하기 위해 모델 평가는 어떻게 재구성될 수 있는가?
• RQ2 맥락적 현실성과 인간 요구의 현실성(정밀도)과 계산 비용, 시간, 환경 영향 등의 실용적 비용 사이의 상충 관계는 무엇인가?
• RQ3 사용자 행동을 단순화하거나 왜곡하지 않으면서도 실제 사용자 상호작용을 의미 있게 모방할 수 있도록 시뮬레이션 평가를 어떻게 설계할 수 있는가?
• RQ4 다양한 응용 분야에서 포괄적인 LLM 평가를 위해 '사용 사례'를 유용하고 구분 가능한 방식으로 표현하는 데는 무엇이 필요한가?
• RQ5 고위험 모델 배포 상황에서 저비용 평가 방법은 언제, 어떻게 정당화될 수 있는가?

주요 결과

• ROUGE나 BERTScore와 같은 기존 자동 평가 지표는 실제 환경에서 인간이 바라는 구성요소와의 정렬이 제한되어 있어 LLM 평가에 부적합하다.
• 인간 평가의 경우 타당성은 높지만 표준화, 재현성, 확장성에 결함이 있어 실제 구현 결정에 신뢰도가 떨어진다.
• 일반 목적 LLM의 확산으로 인해 모델 동질화가 심화되었으며, 이는 개발자들이 다양한 사용 사례에서의 적합성 평가와 한계 통보의 책임을 더 크게 져야 한다는 것을 의미한다.
• 실제 사용자 행동에 기반하고 실제 데이터와 검증된 시뮬레이션 평가는 신뢰할 수 있는 도구가 될 수 있지만, 원칙 없는 시뮬레이션은 사용자 필요를 잘못 반영할 위험이 있다.
• 디자이너나 UX 연구자가 사용자 행동을 시뮬레이션하는 전문가 중심의 정성적 평가는 자동화나 표준 인간 평가로는 발견할 수 없는 핵심적인 행동 결함과 위험 요소를 드러낼 수 있다.
• 공정성, 일관성, 신뢰성과 같은 인간이 바라는 구성요소를 체계화하고 공감대를 형성할 필요가 절실하며, 이를 바탕으로 더 의미 있고 가치 기반의 평가 지표 개발을 이끌어야 한다.