[논문 리뷰] Evaluating the Impact of Model Scale for Compositional Generalization in Semantic Parsing

Linlu Qiu, Peter Shaw외 6명|arXiv (Cornell University)|2022. 05. 24.

Natural Language Processing Techniques인용 수 4

한 줄 요약

이 논문은 T5(에코더-디코더) 및 PaLM(디코더-온리) 모델을 사용하여 모델 크기를 확장할수록 의미 분석에서 조합적 일반화에 어떤 영향을 미치는지 조사한다. 모델 크기는 최대 540B 파라미터까지 확장된다. 미세조정, 프롬프트 튜닝, 인-컨텍스트 학습을 비교하여, 미세조정은 평탄하거나 부정적인 스케일링 곡선을 보이며, 프롬프트 튜닝은 더 긍정적인 스케일링을 보이고 대규모에서 미세조정을 능가함을 발견하였다. 이는 파라미터 효율적인 방법이 스케일에서 더 나은 일반화를 이끌어낼 수 있음을 시사한다.

ABSTRACT

Despite their strong performance on many tasks, pre-trained language models have been shown to struggle on out-of-distribution compositional generalization. Meanwhile, recent work has shown considerable improvements on many NLP tasks from model scaling. Can scaling up model size also improve compositional generalization in semantic parsing? We evaluate encoder-decoder models up to 11B parameters and decoder-only models up to 540B parameters, and compare model scaling curves for three different methods for applying a pre-trained language model to a new task: fine-tuning all parameters, prompt tuning, and in-context learning. We observe that fine-tuning generally has flat or negative scaling curves on out-of-distribution compositional generalization in semantic parsing evaluations. In-context learning has positive scaling curves, but is generally outperformed by much smaller fine-tuned models. Prompt-tuning can outperform fine-tuning, suggesting further potential improvements from scaling as it exhibits a more positive scaling curve. Additionally, we identify several error trends that vary with model scale. For example, larger models are generally better at modeling the syntax of the output space, but are also more prone to certain types of overfitting. Overall, our study highlights limitations of current techniques for effectively leveraging model scale for compositional generalization, while our analysis also suggests promising directions for future work.

연구 동기 및 목표

• 모델 크기를 증가시킬수록 의미 분석에서 조합적 일반화가 향상되는지 조사하는 것.
• 다양한 작업 적응 기법—미세조정, 프롬프트 튜닝, 인-컨텍스트 학습—이 조합적 일반화에 미치는 스케일링 행동을 비교하는 것.
• 모델 크기와 적응 방법에 따라 변화하는 오류 패턴과 실패 유형을 식별하는 것.
• 분포 이탈, 출력 표현 방식, 프롬프트 검색 품질이 스케일링 성능에 미치는 영향을 평가하는 것.

제안 방법

• 의미 분석을 위해 최대 11B 파라미터의 에코더-디코더 T5 모델과 최대 540B 파라미터의 디코더-온리 PaLM 모델을 평가한다.
• 세 가지 작업 적응 방법을 적용: 전체 미세조정, 프롬프트 튜닝(학습 가능한 소프트 프롬프트 사용), 소수의 예시를 사용한 인-컨텍스트 학습.
• 표준 벤치마크를 사용: 조합적 일반화 평가를 위한 GeoQuery 및 SMCalFlow-CS.
• 학습 요소의 새로운 조합을 포함하는 분포 외 예시에서 모델 크기 전반에 걸쳐 성능을 측정한다.
• 문법 오류(예: 균형 잡히지 않은 괄호)와 분포 오류(예: 알려지지 않은 술어 사용)와 같은 오류 유형을 분석한다.
• 인-컨텍스트 학습에서 프롬프트 품질 영향을 평가하기 위해 무작위 및 오라클 기반 프롬프트 검색을 사용한다.

실험 결과

연구 질문

• RQ1 모델 크기를 증가시킬수록 의미 분석에서 조합적 일반화가 향상되는가?
• RQ2 미세조정, 프롬프트 튜닝, 인-컨텍스트 학습 간에 조합적 일반화의 스케일링 행동은 어떻게 다를까?
• RQ3 예측 오류 패턴 중에서 모델 크기 또는 적응 방법에 따라 체계적으로 변화하는 것은 있는가?
• RQ4 분포 이탈, 출력 표현 방식, 프롬프트 검색 품질은 스케일링 곡선에 어떤 영향을 미치는가?

주요 결과

• 미세조정은 조합적 일반화에 대해 평탄하거나 부정적인 스케일링 곡선을 보이며, 모델 크기가 커질수록 성능 향상이 없거나 오히려 악화됨을 시사한다.
• 프롬프트 튜닝은 대규모 모델에서 표준 미세조정을 능가하며 더 긍정적인 스케일링 곡선을 보이며, 스케일을 활용하기에 더 적합함을 시사한다.
• 인-컨텍스트 학습은 긍정적인 스케일링 곡선을 보이지만, 항상 더 작은 미세조정된 모델에 뒤지며, 대규모에서의 효과가 제한됨을 시사한다.
• 더 큰 모델은 문법적 구조(예: 균형 잡힌 괄호)를 더 잘 모델링하지만, 특정 조합 패턴에 과적합되기 쉬움을 보임.
• 오류 분석 결과, 더 큰 모델일수록 잘못된 경우에도 정확히 학습 예제와 일치하는 출력을 생성할 가능성이 더 높으며, 이는 기억 또는 분포 편향을 시사한다.
• 오라클 기반 프롬프트 검색기 사용 시 인-컨텍스트 학습 성능 향상이 가능하지만, 여전히 더 작은 미세조정된 모델에 뒤지며, 프롬프트 엔지니어링의 한계를 드러낸다.