[논문 리뷰] [Re] Benchmarking LLM Capabilities in Negotiation through Scoreable Games

Jorge Carrasco Pollo, Ioannis Kapetangeorgis외 2명|arXiv (Cornell University)|2026. 02. 20.

Topic Modeling인용 수 0

한 줄 요약

이 논문은 Abdelnabi et al.'s Scoreable Games negotiation benchmark를 재현하고 확장하며, 일반화 가능성, 공정성 및 잠재적 편향을 분석하고, 더 폭넓은 모델 커버리지와 새로운 평가 지표를 추가합니다.

ABSTRACT

Large Language Models (LLMs) demonstrate significant potential in multi-agent negotiation tasks, yet evaluation in this domain remains challenging due to a lack of robust and generalizable benchmarks. Abdelnabi et al. (2024) introduce a negotiation benchmark based on Scoreable Games, with the aim of developing a highly complex and realistic evaluation framework for LLMs. Our work investigates the reproducibility of claims in their benchmark, and provides a deeper understanding of its usability and generalizability. We replicate the original experiments on additional models, and introduce additional metrics to verify negotiation quality and evenness of evaluation. Our findings reveal that while the benchmark is indeed complex, model comparison is ambiguous, raising questions about its objectivity. Furthermore, we identify limitations in the experimental setup, particularly in information leakage detection and thoroughness of the ablation study. By examining and analyzing the behavior of a wider range of models on an extended version of the benchmark, we reveal insights that provide additional context to potential users. Our results highlight the importance of context in model-comparative evaluations.

연구 동기 및 목표

• Scoreable Games 협상 벤치마크의 재현성 및 일반화 가능성을 더 많은 모델과 설정에서 평가한다.
• 누출 탐지 및 ablation 연구를 포함한 원래 실험 설정의 한계를 식별한다.
• 평가의 공정성과 신뢰성을 높이기 위한 보조 점수 지표와 코드 수정으로 투명성을 개선한다.
• 게임의 다양성과 조정 가능성을 평가하고 협력적(cooperative), 탐욕적(greedy), 적대적(adversarial) 행동 프롬프트가 협상 결과에 미치는 영향을 검토한다.

제안 방법

• Abdulnabi et al. 협상 게임을 형식화한다 (N=6 players, 5 issues, 24 rounds by default).
• 원래 실험을 추가 모델에서 재현하기 위해 양자화된 오픈소스 모델과 GPT-4o mini/GPToo 변형을 사용한다.
• 모델 간 공정한 평가를 보장하기 위해 누출 처리 버그 및 여러 코드 이슈를 식별하고 수정한다.
• Utilitarian Social Welfare (USW), Egalitarian Social Welfare (ESW), and Nash Social Welfare (NSW) 등의 새로운 지표로 평가를 확장한다.
• 강건성과 일반화를 평가하기 위해 ablations, 게임 간 모델 비교 및 확장된 게임 조정성 테스트를 수행한다.
• 원래 설정을 넘어 벤치마크 주장을 살펴보기 위한 새로운 기준선 및 추가 실험(Experiment 5–8)을 제공한다.

실험 결과

연구 질문

• RQ1 Scoreable Games 벤치마크가 원래 연구에서 테스트된 모델들 외의 더 넓은 범위의 모델에서 일반화되는가?
• RQ2 게임 간 불일치 및 ablation 구성의 불일치에 비추어 모델 간 비교가 공정하고 객관적인가?
• RQ3 추가 평가 지표(USW, ESW, NSW)가 협상 품질과 공정성 해석에 어떤 영향을 주는가?
• RQ4 제공된 게임의 다양성 및 조정 가능성이 얼마나 보편적이며 실제로 다양성이 드러나는가?
• RQ5 행동 프롬프트(greedy, adversarial, cooperative)가 모델 간 협상 결과에 어떤 영향을 미치는가?

주요 결과

• 벤치마크가 복잡하고 게임 간 불일치와 ablation 설정에 따른 민감도로 인해 모델 간 비교가 여전히 모호하다.
• 저 leakage 관련 코드 이슈를 식별하고 수정함으로써 소형 모델에서 누출 측정의 변동성이 더 높게 나타난다는 것을 보여준다.
• 더 넓은 모델 집합에서의 평가를 통해 게임의 난이도와 모델 성능이 모델 및 게임에 따라 달라지며 보편적으로 공정한 벤치마크라는 아이디어에 도전이 된다.
• 새로운 지표(USW, ESW, NSW)가 USW의 패턴을 뒷받침하고 협상에서의 공정성/효율성 역학을 드러낸다.
• 원래의 구성 프롬프트 편향은 진정한 다양성을 제한하는 경향이 있으며, 수정된 프롬프트는 더 넓은 협상 맥락을 만들어내고 게임 간 점수 함수의 지속적인 제한된 다양성을 드러낸다.
• 강력한 재현성 기준선이 원래의 기준선에 비해 해석이 쉬운 대안으로 제안된다.