[논문 리뷰] Efficient Methods for Natural Language Processing: A Survey

Marcos Treviso, Ji-Ung Lee외 20명|arXiv (Cornell University)|2022. 08. 31.

Topic Modeling인용 수 11

한 줄 요약

이 종합 검토는 자연어 처리(NLP)에서 자원 소비를 줄이기 위한 효율적인 방법들을 통합하여 자원 소비(데이터, 계산, 에너지 등)를 줄이면서도 성능을 유지하는 데 초점을 맞춘다. 데이터 필터링, 모델 압축, 양자화, 지식 정복, 희소 학습, 효율적인 추론 기법을 포함하며, 자원이 제한된 연구를 위한 가이드라인을 제공하고 효율적인 NLP 시스템의 미래 가능성 있는 방향을 제시한다.

ABSTRACT

Recent work in natural language processing (NLP) has yielded appealing results from scaling model parameters and training data; however, using only scale to improve performance means that resource consumption also grows. Such resources include data, time, storage, or energy, all of which are naturally limited and unevenly distributed. This motivates research into efficient methods that require fewer resources to achieve similar results. This survey synthesizes and relates current methods and findings in efficient NLP. We aim to provide both guidance for conducting NLP under limited resources, and point towards promising research directions for developing more efficient methods.

연구 동기 및 목표

• 대규모 NLP 모델의 증가하는 자원 수요(계산, 데이터, 에너지 사용)를 해결한다.
• NLP 파이프라인 전반에서 효율성을 향상시키기 위한 알고리즘 기반 및 하드웨어 인지 기법에 대한 종합적 개요를 제공한다.
• 자원이 제한된 연구자들이 효율적인 NLP 기법을 선택하고 적용하는 데 도움을 준다.
• 더 지속 가능하고 접근 가능한 NLP 시스템을 개발하기 위한 열린 과제와 미래 연구 방향을 식별한다.
• 비용-성능 트레이드오프 기반으로 효율적인 NLP 모델의 평가 및 모델 선택 기준을 표준화한다.

제안 방법

• 성능 저하 없이 학습 데이터 크기를 줄이기 위해 필터링, 중복 제거, 커리큘럼 학습과 같은 데이터 효율 기법을 조사하고 분류한다.
• 지식 정복, 프루닝, 양자화(예: Q8BERT, TernaryBERT), 희소 전문가 모델(예: MoE) 등을 포함한 모델 설계 개선 기법을 검토하여 모델 크기와 추론 비용을 줄인다.
• 저샷 학습, 하이퍼파rameter 효율성, 커리큘럼 기반 학습 스케줄링을 포함한 효율적인 사전학습 및 미세조정 전략을 분석한다.
• 추론 시 최적화 기법을 분석하여 모델 정복, 양자화, 희소 추론을 통해 추론 속도를 향상시키고 메모리 및 에너지 소비를 줄인다.
• NLP 파이프라인 전반에 걸쳐 데이터, 모델 설계, 사전학습, 미세조정, 추론, 모델 선택의 효율적 기법을 체계화한 유형 체계를 제안한다.
• 실행 비용, 데이터셋 크기, 하이퍼파ram터 튜닝 등 비용 요소를 고려한 평가 프레임워크를 제안하여 효율성을 종합적으로 평가한다.

실험 결과

연구 질문

• RQ1 성능 저하 없이 필터링과 커리큘럼 학습을 통해 데이터 효율성을 어떻게 향상시킬 수 있는가?
• RQ2 NLP에서 모델 크기와 추론 비용을 줄이기 위해 가장 효과적인 모델 압축 기법(예: 정복, 프루닝, 양자화)은 무엇인가?
• RQ3 계산 및 데이터 사용 측면에서 사전학습과 미세조정을 어떻게 더 효율적으로 수행할 수 있는가?
• RQ4 NLP 파이프라인의 각 단계에서 모델 효율성과 성능 간의 주요 트레이드오프는 무엇인가?
• RQ5 정확도 외에 비용-성능 지표를 기반으로 효율적인 모델 선택을 어떻게 이끌 수 있는가?

주요 결과

• MinhashLSH를 활용한 학습 데이터 중복 제거 기법은 성능을 유지하거나 향상시키면서도 계산 비용을 크게 줄일 수 있다.
• 적대적 필터링과 커리큘럼 학습을 통해 원본 데이터의 약 2% 미만으로도 전체 데이터로 학습한 것과 유사한 성능을 달성할 수 있다(예: SNLI에서의 사례).
• Q8BERT 및 TernaryBERT와 같은 양자화 기법은 정확도 저하를 최소화하면서 8비트 및 초저비트 추론을 가능하게 한다.
• 희소 전문가 모델(MoE 등)과 온스프로리 프루닝을 통해 동적 파라미터 공유 및 조기 정지 기능을 제공함으로써 효율적인 학습 및 추론이 가능하다.
• 지식 정복 및 정복 인지 학습(예: TernaryBERT)을 통해 더 작은 학생 모델이 교사 모델 성능을 따라하거나 초월할 수 있으며, 자원 사용도 줄일 수 있다.
• 효율적인 하이퍼파ram터 튜닝 및 모델 선택 프레임워크는 학습 런 수를 줄여 전체 학습 비용을 낮추면서도 모델 품질을 유지할 수 있다.