[논문 리뷰] HyperGrid: Efficient Multi-Task Transformers with Grid-wise Decomposable Hyper Projections

Yi Tay, Zhe Zhao외 3명|arXiv (Cornell University)|2020. 07. 12.

Topic Modeling참고 문헌 53인용 수 5

한 줄 요약

HyperGrid는 Transformer에서 효율적인 다중 작업 학습을 위해 격자 기반의 분해 가능한 하이퍼네트워크 기반 투영 레이어를 제안한다. 이로 인해 단일 T5 모델이 GLUE 및 SuperGLUE 벤치마크에서 개별적으로 미세조정된 최신 기술 수준의 성능을 재현할 수 있다. 지역-전역 하이퍼네트워크 조합을 통해 작업별로 지역 기반의 가중치 투영을 학습함으로써 16배의 파라미터 절감을 이룩하면서도 16개 작업 전역에서 경쟁 가능한 정확도를 유지한다.

ABSTRACT

Achieving state-of-the-art performance on natural language understanding tasks typically relies on fine-tuning a fresh model for every task. Consequently, this approach leads to a higher overall parameter cost, along with higher technical maintenance for serving multiple models. Learning a single multi-task model that is able to do well for all the tasks has been a challenging and yet attractive proposition. In this paper, we propose extsc{HyperGrid}, a new approach for highly effective multi-task learning. The proposed approach is based on a decomposable hypernetwork that learns grid-wise projections that help to specialize regions in weight matrices for different tasks. In order to construct the proposed hypernetwork, our method learns the interactions and composition between a global (task-agnostic) state and a local task-specific state. We apply our proposed extsc{HyperGrid} on the current state-of-the-art T5 model, demonstrating strong performance across the GLUE and SuperGLUE benchmarks when using only a single multi-task model. Our method helps bridge the gap between fine-tuning and multi-task learning approaches.

연구 동기 및 목표

• 각 NLU 작업용 별도의 모델을 미세조정하는 데 드는 높은 파라미터 비용과 유지보수 비용을 줄이기 위해.
• 단일 작업 미세조정과 다중 작업 공학습 간의 성능 격차를 해소하기 위해.
• 작업별 특화된 미세조정 기법 없이도 다양한 NLU 작업에서 경쟁 가능한 성능을 내는 단일 모델을 가능하게 하기 위해.
• 다중 작업 일반화를 향상시키기 위해 구조적이고 인스턴스 기반의 파라미터 적응을 하이퍼네트워크를 통해 탐색하기 위해.

제안 방법

• 입력에 따라 지역 기반의 파라미터 적응이 가능한 공간 영역으로 피드포워드 레이어 가중치를 분할하는 격자 기반 투영을 도입한다.
• 지역적 작업 특화 헤드와 전역적 작업 무관 상태 임베딩을 갖춘 이중 하이퍼네트워크 설정을 통해 조합적 파라미터 생성을 구현한다.
• 지역 및 전역 상태 간의 풍부한 쌍방향 상호작용을 모델링하기 위해 분해 가능한 하이퍼투영을 사용함으로써 표현력과 인수 분해를 향상시킨다.
• T5 모델에 HyperGrid 모듈를 적용하여 다중 작업 미세조정 중 표준 피드포워드 레이어를 작업 조건에 맞는 적응형 투영으로 대체한다.
• GLUE 및 SuperGLUE의 모든 작업을 동시에 학습하는 단일 다중 작업 모델을 훈련함으로써 작업별 특화된 초모수나 앙상블 기법을 피한다.
• 파라미터화를 위해 $32 \times 128$ 격자를 사용하고, 표현력과 효율성을 균형 잡기 위해 지역-전역(LG) 구성 방식을 적용한다.

실험 결과

연구 질문

• RQ1 단일 다중 작업 Transformer 모델이 다양한 NLU 벤치마크에서 개별적으로 미세조정된 모델과 경쟁 가능한 성능을 달성할 수 있는가?
• RQ2 하이퍼네트워크는 어떻게 구성되어야 하며, 모델 크기를 늘리지 않고도 효율적이고 작업별 적응이 가능한가?
• RQ3 격자 기반의 지역 기반 파라미터 투영은 기존의 행 기반 재가중치 방식보다 다중 작업 일반화를 향상시킬 수 있는가?
• RQ4 분해 가능한 지역-전역 하이퍼네트워크 조합 방식이 다중 작업 학습에서 표준 하이퍼네트워크 방식을 능가할 수 있는가?

주요 결과

• 3B HyperGrid 모델은 SuperGLUE에서 87.7점을 기록하여 최신 기술 수준(SOTA)보다 1.2% 떨어지지만, 파라미터 수가 16배 적게 사용된다.
• 11B HyperGrid 모델은 GLUE에서 176B T5(11B) 모델과 동일한 성능을 달성하여 89.4점 대비 89.7점의 성능을 기록한다.
• SuperGLUE에서 3B 모델은 84.7점을 기록하며, 작업별 특화된 미세조정 기법을 사용하는 RoBERTa 앙상블과 동일한 성능을 낸다.
• BERT++ 및 RoBERTa와 같은 강력한 베이스라인 모델들(앙성 및 작업별 전략 사용)에 비해 단일 모델로도 성능을 뛰어넘는다.
• GLUE 및 SuperGLUE의 16개 모든 작업에 대해 개별 모델을 훈련하는 것과 비교해 총 파라미터 비용을 16배 절감한다.
• 지역-전역 하이퍼네트워크 조합 방식은 치명적인 기억 상실이나 성능 저하 없이 효과적인 작업별 적응을 가능하게 한다.