[논문 리뷰] Utility is in the Eye of the User: A Critique of NLP Leaderboards

Kawin Ethayarajh, Dan Jurafsky|arXiv (Cornell University)|2020. 09. 29.

Topic Modeling참고 문헌 55인용 수 13

한 줄 요약

이 논문은 NLP 리더보드가 실무자들이 실제로 필요로 하는 요소들—효율성, 공정성, 지연 시간—보다 모델 정확도를 우선시함으로써 실제 적용과의 괴리를 드러낸다. 이를 개선하기 위해 모델 크기, 에너지 소비, 추론 속도 등의 투명한 보고를 통해 사용자가 개인화된 유틸리티를 계산하고, 자신의 특정 우선순위에 따라 모델을 동적으로 재순위 매길 수 있도록 리더보드를 개선할 것을 제안한다.

ABSTRACT

Benchmarks such as GLUE have helped drive advances in NLP by incentivizing the creation of more accurate models. While this leaderboard paradigm has been remarkably successful, a historical focus on performance-based evaluation has been at the expense of other qualities that the NLP community values in models, such as compactness, fairness, and energy efficiency. In this opinion paper, we study the divergence between what is incentivized by leaderboards and what is useful in practice through the lens of microeconomic theory. We frame both the leaderboard and NLP practitioners as consumers and the benefit they get from a model as its utility to them. With this framing, we formalize how leaderboards -- in their current form -- can be poor proxies for the NLP community at large. For example, a highly inefficient model would provide less utility to practitioners but not to a leaderboard, since it is a cost that only the former must bear. To allow practitioners to better estimate a model's utility to them, we advocate for more transparency on leaderboards, such as the reporting of statistics that are of practical concern (e.g., model size, energy efficiency, and inference latency).

연구 동기 및 목표

• NLP 리더보드가 유도하는 기준과 실무자들이 실제로 모델에 가치를 두는 요소 사이의 괴리를 규명하는 것.
• 현재 리더보드 설계가 모델 효율성, 공정성, 내구성과 같은 실무적 고려사항을 반영하지 못하는 방식을 분석하는 것.
• 성능 기반 순위에서 투명한 모델 통계 보고로의 전환을 제안하여 실무자들이 모델 유틸리티를 더 정확히 추정할 수 있도록 돕는 것.
• 사용자가 자신의 유틸리티 함수에 따라 모델을 재순위 매길 수 있도록 허용함으로써 개인화된 모델 선택을 가능하게 하는 것.
• 리더보드가 모델 크기, 에너지 비용, 지연 시간과 같은 실용적 지표를 보고하도록 장려하여 공정하고 지속 가능한 모델 도입을 지원할 것

제안 방법

• 카디널 유틸리티 이론을 활용해 NLP 실무자와 리더보드를 각각 다른 유틸리티 함수를 가진 경제적 소비자로 모델링하고, 선호도를 비교하는 것.
• 현재 리더보드의 세 가지 핵심 한계를 수식화하는 것: 비연속적 유틸리티(순위 기반 보상), 예측 비용의 외부화(추론 비용 忽시), 내구성 고려 부족.
• 리더보드가 모델 크기, 에너지 소비, 추론 지연 시간과 같은 실용적 지표의 투명한 보고를 의무화할 것을 제안하는 것.
• 사용자가 지표(예: 정확도, 지연 시간, 크기)에 가중치를 부여하고 모델을 동적으로 재순위 매길 수 있는 사용자 맞춤 리더보드 개념을 도입하는 것.
• 실제 모델 사용 패턴에서 유틸리티 함수를 추론하기 위해 노출된 선호 이론을 활용할 것을 제안하지만, 데이터 부족 문제를 인정하는 것.
• 기준(예: 매개변수 수)을 초과하는 모델을 제외할 수 있는 필터링 옵션을 도입해 자원이 부족한 창작자들에게도 접근성을 높이는 것

실험 결과

연구 질문

• RQ1 NLP 실무자와 리더보드가 모델 품질 평가에서 어떻게 다른 유틸리티 함수를 가질까?
• RQ2 실제 적용에서 중요시되는 에너지 효율성, 공정성, 내구성에 비해 현재 NLP 리더보드가 왜 이를 유도하지 못하는가?
• RQ3 모델 통계의 투명성은 실무자들이 모델의 실제 적용 유틸리티를 얼마나 더 정확히 추정할 수 있게 할까?
• RQ4 정적이고 성능 중심의 순위 매기기와는 달리, 동적이고 사용자 설정이 가능한 리더보드가 개인 또는 단체의 특정 우선순위를 더 잘 반영할 수 있는가?
• RQ5 노출된 선호 또는 명시된 선호 방법은 다양한 NLP 사용자 집단의 유틸리티 함수 추정에 어떤 역할을 할 수 있는가?

주요 결과

• 리더보드는 순위가 바뀔 때만 정확도 향상을 유도하므로 비연속적 유틸리티를 만들지만, 실무자들은 순위 영향 없이도 정확도 향상이라도 가치로 간주한다.
• 리더보드는 추론 비용(예: 모델 크기, 에너지 소비, 지연 시간)을 忽시하여 실제 구현에 필수적인 요소임에도 불구하고 실용적 유틸리티를 감소시킨다.
• 내구성과 공정성 향상은 리더보드 순위에 영향을 주지 않지만, 생산 환경에서 실무자들에게 상당한 유틸리티 증가를 가져온다.
• 모델 크기, 에너지 소비, 지연 시간 등의 통계 투명성 보장은 실무자가 모델 유틸리티를 더 정확히 추정하고 균형 잡힌 선택을 내릴 수 있도록 한다.
• 정확도 대비 지연 시간 등 지표에 가중치를 둘 수 있는 동적이고 사용자 설정이 가능한 리더보드는 개인화된 모델 선택을 가능하게 하며, '모든 사용자에게 맞춤 리더보드'를 만드는 데 효과적일 수 있다.
• 최악의 그룹 성능과 같은 지표의 투명한 보고는 창작자가 공정성을 향상시키도록 유도하여 모델 개발을 윤리적이고 실용적인 목표에 맞출 수 있도록 한다.