[논문 리뷰] Evaluate & Evaluation on the Hub: Better Best Practices for Data and Model Measurements

Leandro von Werra, Lewis Tunstall외 17명|arXiv (Cornell University)|2022. 09. 30.

Machine Learning and Data Classification인용 수 5

한 줄 요약

이 논문은 기계학습 모델 및 데이터셋 평가의 재현성, 중심화, 포괄성 향상을 위한 오픈소스 도구인 Evaluate와 Hub 위의 평가를 소개한다. Evaluate 라이브러리는 통합 인터페이스를 통해 50개 이상의 지표를 표준화하고, Hub 위의 평가 기능은 코드 없이도 75,000개 이상의 모델과 11,000개 이상의 데이터셋을 대규모로 평가할 수 있게 해, 기계학습 커뮤니티 전반에서 벤치마킹과 모델 선택을 크게 간소화한다.

ABSTRACT

Evaluation is a key part of machine learning (ML), yet there is a lack of support and tooling to enable its informed and systematic practice. We introduce Evaluate and Evaluation on the Hub --a set of tools to facilitate the evaluation of models and datasets in ML. Evaluate is a library to support best practices for measurements, metrics, and comparisons of data and models. Its goal is to support reproducibility of evaluation, centralize and document the evaluation process, and broaden evaluation to cover more facets of model performance. It includes over 50 efficient canonical implementations for a variety of domains and scenarios, interactive documentation, and the ability to easily share implementations and outcomes. The library is available at https://github.com/huggingface/evaluate. In addition, we introduce Evaluation on the Hub, a platform that enables the large-scale evaluation of over 75,000 models and 11,000 datasets on the Hugging Face Hub, for free, at the click of a button. Evaluation on the Hub is available at https://huggingface.co/autoevaluate.

연구 동기 및 목표

• 기계학습 평가 관행에서의 재현성 부족, 중심화 부족, 포괄성 부족 문제 해결.
• 단일 오픈소스 라이브러리 내에서 지표, 벤치마크, 평가 워크플로우를 통합함으로써 평가 도구의 분산 방지.
• 허깅페이스 허브 기반의 중앙 집중형 플랫폼을 통해 대규모, 코드 없이 모델 및 데이터셋 평가 가능하게 하기.
• 지표 구현 및 버전 관리를 표준화함으로써 모델 비교의 투명성과 신뢰도 향상.
• 정확도를 넘어서 효율성, 공정성, 내구성 등 중요한 성능 차원을 포함한 폭넓은 평가 지원을 통해 더 나은 모델 배포 결정 유도.

제안 방법

• 다양한 기계학습 영역에서 사용 가능한 50개 이상의 정의된, 버전 관리가 되며 잘 문서화된 평가 지표의 구현을 제공하는 오픈소스 파이썬 라이브러리인 Evaluate 개발.
• 지표, 측정값, 비교 작업에 대한 표준화되고 일관된 API 설계로 API 분산 및 실행 구현의 이질성 감소.
• Evaluate 라이브러리를 허깅페이스 허브와 통합하여 평가 구성 요소의 중앙 집중식 저장, 공유, 버전 관리 기능 제공.
• Evaluate 라이브러리를 기반으로 한 코드 없이도 모델을 데이터셋에 대해 자동으로 평가할 수 있는 플랫폼인 Hub 위의 평가 기능 개발. 결과는 공개 랭킹보드에 게시됨.
• 문서 카드와 즉시 사용 가능한 로딩 메커니즘을 통해 커뮤니티 기여를 통해 새로운 지표, 측정값, 비교 방법을 쉽게 기여할 수 있도록 설계.
• 지연 시간 및 처리량 측정을 포함한 자동화된 평가 파이프라인 제공으로 실제 배포 결정 지원.

실험 결과

연구 질문

• RQ1 다양한 실험과 실행 간 기계학습 모델 평가의 재현성을 어떻게 향상시킬 수 있는가?
• RQ2 기계학습 생태계 전반에서 평가 지표와 데이터셋을 중심화하고 표준화하는 데 있어 핵심 과제는 무엇인가?
• RQ3 정확도를 넘어서 효율성, 공정성, 내구성 등 기타 중요한 성능 차원까지 평가 커버리지를 어떻게 확장할 수 있는가?
• RQ4 코드 없이도 확장 가능한 플랫폼이 모델 및 데이터셋 벤치마킹에 대한 접근성을 어떻게 민주화할 수 있는가?
• RQ5 커뮤니티 주도의 버전 관리 평가 도구는 복제를 줄이고 보고된 결과에 대한 신뢰도를 어떻게 향상시킬 수 있는가?

주요 결과

• Evaluate 라이브러리는 다양한 기계학습 워크플로우 간 일관성과 재현성을 보장하는 50개 이상의 효율적이고 표준화된 평가 지표의 정의된 구현을 제공한다.
• Hub 위의 평가 기능은 단 한 번의 클릭으로 75,000개 이상의 모델과 11,000개 이상의 데이터셋을 자동으로 대규모로 평가할 수 있게 해, 벤치마킹의 접근 장벽을 크게 낮춘다.
• 플랫폼은 코드 없이도 연구자들이 새로운 데이터셋에서 모델 성능을 검증할 수 있도록 해주며, 이는 코드 작성 없이도 가능하다.
• 허브의 모델 랭킹보드는 작업 간 모델 비교를 위한 신뢰할 수 있는 중앙 집중식 소스를 제공하며, 평가가 이루어질 때마다 결과가 자동으로 업데이트된다.
• 표준화된 문서 카드와 플러그인 로딩 메커니즘을 통해 커뮤니티 기여가 간편해져 새로운 평가 구성 요소의 도입과 유지보수성이 향상된다.
• 지표와 데이터셋의 버전 추적 기능을 통해 도구는 코드 변경이 있을 경우에도 재현 가능성을 지원함으로써 투명성을 향상시킨다.