[논문 리뷰] HULK: An Energy Efficiency Benchmark Platform for Responsible Natural Language Processing

Xiyou Zhou, Zhiyu Chen외 2명|arXiv (Cornell University)|2020. 02. 14.

Topic Modeling참고 문헌 13인용 수 15

한 줄 요약

HULK는 자연어 처리 분야의 사전 훈련 모델이 사전 훈련, 미세조정, 추론 단계에서 시간과 비용을 핵심 지표로 사용하여 다중 작업 에너지 효율성 기준 평가 플랫폼이다. 이는 더 작은 파라미터 수가 항상 더 나은 효율성을 보장하지는 않으며, 모델 아키텍처가 미세조정 속도에 상당한 영향을 미친다는 것을 드러낸다. 특히 파라미터 공유를 통해 파라미터 수를 줄인 ALBERT 모델의 경우, 더 적은 파라미터를 가짐에도 불구하고 수렴 속도가 느리다.

ABSTRACT

Computation-intensive pretrained models have been taking the lead of many natural language processing benchmarks such as GLUE. However, energy efficiency in the process of model training and inference becomes a critical bottleneck. We introduce HULK, a multi-task energy efficiency benchmarking platform for responsible natural language processing. With HULK, we compare pretrained models' energy efficiency from the perspectives of time and cost. Baseline benchmarking results are provided for further analysis. The fine-tuning efficiency of different pretrained models can differ a lot among different tasks and fewer parameter number does not necessarily imply better efficiency. We analyzed such phenomenon and demonstrate the method of comparing the multi-task efficiency of pretrained models. Our platform is available at https://sites.engineering.ucsb.edu/~xiyou/hulk/.

연구 동기 및 목표

• 대규모 NLP 모델의 사전 훈련 및 추론 단계에서 증가하는 환경적, 재정적 비용을 해결하기 위해.
• 다양한 사전 훈련 모델 간의 에너지 효율성을 비교할 수 있는 실용적이고 다단계 기준 평가 플랫폼을 제공하기 위해.
• 실제 시간과 비용 지표를 분석함으로써 파라미터 수가 적을수록 효율성이 높다는 가정을 도전하기 위해.
• 에너지 및 비용 효율성 기반의 데이터 기반 모델 선택을 가능하게 하여 책임감 있는 AI 개발을 지원하기 위해.
• NLP에서 종단 간 에너지 효율성을 평가하기 위한 재현 가능하고 오픈소스 기반의 기준 평가 플랫폼을 구축하기 위해.

제안 방법

• 플랫폼은 표준 하드웨어와 클라우드 비용 추정치를 사용하여 사전 훈련, 미세조정, 추론 단계에서 모델을 평가한다.
• 실제 하드웨어 구성과 가격(예: TPU v3는 시간당 $8, V100 GPU는 시간당 $3.06)을 사용하여 실제 훈련 및 추론 비용을 추정한다.
• 기준 평가 작업으로는 MNLI(자연어 추론), SST-2(감성 분석), CoNLL-2003(명명된 실체 인식) 세 가지 NLP 작업을 사용한다.
• 미세조정 효율성은 각 작업에서 정확도에 도달하는 데 소요되는 시간을 최소화하도록 초모수(학습률, 배치 크기)를 최적화하여 평가한다.
• 각 단계에서 시간 및 비용 지표를 수집하며, 결과는 개발 세트 출력 및 훈련 로그를 통해 검증된다.
• 재현 가능성과 투명성을 확보하기 위해 플랫폼은 소스 코드, 훈련 로그, 성능 지표를 요구한다.

실험 결과

연구 질문

• RQ1 다양한 사전 훈련된 NLP 모델은 사전 훈련, 미세조정, 추론 단계에서 시간과 비용 효율성 측면에서 어떻게 비교되는가?
• RQ2 낮은 파라미터 수가 미세조정 및 추론 단계에서 항상 더 나은 에너지 효율성을 보장하는가?
• RQ3 모델 아키텍처(예: ALBERT의 파라미터 공유)는 파라미터 수가 감소했음에도 불구하고 미세조정 속도에 어떤 영향을 미치는가?
• RQ4 미세조정 중 모델 성능 곡선이 작업 및 모델 유형에 따라 얼마나 다양하게 변하는가?
• RQ5 다중 작업 및 종단 간 기준 평가 플랫폼이 에너지 효율성 기반의 책임감 있는 AI 모델 선택을 효과적으로 지원할 수 있는가?

주요 결과

• 사전 훈련 비용은 다양하게 변동한다: BERT BASE는 4개의 TPU 풀에서 4일 동안 $1,728을 소비하고, XLNet LARGE는 512개의 TPU v3 칩에서 2.5일 동안 $61,440을 소비한다.
• RoBERTa LARGE는 XLNet LARGE와 유사한 파라미터 수를 가졌음에도 불구하고, 1024개의 V100 GPU에서 사전 훈련 시 $75,203의 비용을 발생시켜 가장 높은 비용을 기록했다.
• 1200만 개의 파라미터를 가진 ALBERT BASE는 파라미터 공유로 인한 계산 비용이 높아 BERT BASE보다 훨씬 더 오랜 시간이 소요되어 미세조정에 더 오래 걸린다.
• 파라미터 수가 적어지더라도 미세조정 속도가 일관되게 향상되지는 않으며, ALBERT 모델은 파라미터 수가 적음에도 불구하고 BERT 모델보다 느리다.
• RoBERTa LARGE는 세 가지 작업 전반에서 안정적이고 비교적 빠른 미세조정 성능를 보이며, 더 나은 최적화 특성을 지닌 것으로 나타났다.
• MNLI 작업은 더 작은 모델의 수렴 속도가 더 빠른 경향을 따르지 않으며, 이는 더 높은 복잡도와 더 큰 훈련 세트 크기 때문일 가능성이 있다.