[논문 리뷰] Zero-shot Learning by Generating Task-specific Adapters.

Qinyuan Ye, Xiang Ren|arXiv (Cornell University)|2021. 01. 02.

Topic Modeling참고 문헌 17인용 수 10

한 줄 요약

이 논문은 작업 설명에서 작업별로 경량화된 특화 어댑터를 생성하는 하이퍼넷워크를 사용하여 텍스트-텍스트 트랜스포머에서 zero-shot 학습을 향상시키는 Hypter라는 프레임워크를 제안한다. 개별 예시 수준이 아닌 작업 수준에서 학습함으로써 Hypter는 파rameter 수를 줄이며 zero-shot 전이 능력을 향상시켜 두 데이터셋에서 파인튜닝 기준선을 능가한다.

ABSTRACT

Pre-trained text-to-text transformers achieve impressive performance across a wide range of NLP tasks, and they naturally support zero-shot learning (ZSL) by using the task description as prompt in the input. However, this approach has potential limitations, as it learns from input-output pairs at instance level, instead of learning to solve tasks at task level. Alternatively, applying existing ZSL methods to text-to-text transformers is non-trivial due to their text generation objective and huge size. To address these issues, we introduce Hypter, a framework that improves zero-shot transferability by training a hypernetwork to generate task-specific adapters from task descriptions. This formulation enables learning at task level, and greatly reduces the number of parameters by using light-weight adapters. Experiments on two datasets demonstrate Hypter improves upon fine-tuning baselines.

연구 동기 및 목표

• 기존의 zero-shot 학습 방법이 입력-출력 쌍을 개별 예시 수준에서 학습하는 데에 국한되어 있다는 한계를 해결하기 위해.
• 텍스트 생성 목적과 높은 파rameter 수를 가진 대규모 사전 학습 모델에서도 파인튜닝 없이 효과적인 zero-shot 전이 능력을 확보하기 위해.
• 작업 설명에서 유도된 경량 어댑터를 도입하여 zero-shot 적응에서 학습 가능한 파rameter 수를 줄이기 위해.
• 하이퍼넷워크를 사용하여 적응을 작업 수준의 학습 문제로 공식화함으로써 zero-shot 일반화 능력을 향상시키기 위해.

제안 방법

• 하이퍼넷워크는 작업의 자연어 설명을 기반으로 작업별로 특화된 어댑터를 생성하도록 훈련된다.
• 어댑터는 가벼운 크기의 모듈로, 사전 학습된 트랜스포머에 삽입되어 특정 작업에 맞게 행동을 적응시킨다.
• 프레임워크는 개별 입력-출력 예제에서 학습하는 대신, 작업 설명에 조건을 두어 작업 수준의 적응을 가능하게 한다.
• 하이퍼넷워크는 다양한 작업에서 zero-shot 성능을 최적화할 수 있도록 엔드 투 엔드로 훈련된다.
• 기본 모델의 텍스트 생성 목표를 활용하면서도, 파인튜닝이나 광범위한 파arameter 업데이트의 필요성을 최소화한다.

실험 결과

연구 질문

• RQ1 하이퍼넷워크는 자연어 작업 설명에서 효과적으로 작업별 어댑터를 생성하여 zero-shot 전이 능력을 향상시킬 수 있는가?
• RQ2 개별 예시 수준이 아닌 작업 수준에서 학습하는 것이 텍스트-텍스트 트랜스포머에서 더 나은 zero-shot 일반화를 이끌어내는가?
• RQ3 파라미터 효율적인 어댑터 생성은 학습 가능한 파arameter 수를 줄일 수 있을 뿐 아니라 성능을 유지하거나 향상시킬 수 있는가?
• RQ4 제안된 방법은 다양한 NLP 작업에서 파인튜닝 기준선과 비교해 zero-shot 환경에서 어떻게 성능을 내는가?

주요 결과

• Hypter는 작업 수준에서 학습함으로써 zero-shot 전이 능력을 향상시켜 개별 예시 수준 학습보다 더 나은 일반화를 가능하게 한다.
• 파인튜닝이 필요 없음에도 불구하고, 두 개의 벤치마크 데이터셋에서 파인튜닝 기준선보다 뛰어난 성능을 달성한다.
• 경량 어댑터의 사용은 학습 가능한 파arameter 수를 크게 줄여 효율성을 높인다.
• 하이퍼넷워크 기반의 어댑터 생성은 기본 모델의 가중치를 수정하지 않고도 효과적인 적응을 가능하게 한다.