[논문 리뷰] Uncontrolled Lexical Exposure Leads to Overestimation of Compositional Generalization in Pretrained Models

Najoung Kim, Tal Linzen외 1명|arXiv (Cornell University)|2022. 12. 21.

Natural Language Processing Techniques인용 수 11

한 줄 요약

이 논문은 사전에 훈련된 언어 모델이 사전 훈련 중에 통제되지 않은 어휘 노출로 인해 조합적 일반화를 과대평가한다는 것을 입증한다. COGS 벤치마크에서 문맥에 따라 제어되는 어휘 항목을 새로운 문자 조합이나 고유의 임베딩으로 대체함으로써 저자들은 성능 저하를 크게 입증하였으며, 이는 최대 51%p까지 저하되었다. 이는 이전 결과들이 사전 훈련 데이터에서 희귀어를 노출함으로써 과대평가되었음을 시사한다.

ABSTRACT

Human linguistic capacity is often characterized by compositionality and the generalization it enables -- human learners can produce and comprehend novel complex expressions by composing known parts. Several benchmarks exploit distributional control across training and test to gauge compositional generalization, where certain lexical items only occur in limited contexts during training. While recent work using these benchmarks suggests that pretrained models achieve impressive generalization performance, we argue that exposure to pretraining data may break the aforementioned distributional control. Using the COGS benchmark of Kim and Linzen (2020), we test two modified evaluation setups that control for this issue: (1) substituting context-controlled lexical items with novel character sequences, and (2) substituting them with special tokens represented by novel embeddings. We find that both of these setups lead to lower generalization performance in T5 (Raffel et al., 2020), suggesting that previously reported results have been overestimated due to uncontrolled lexical exposure during pretraining. The performance degradation is more extreme with novel embeddings, and the degradation increases with the amount of pretraining data, highlighting an interesting case of inverse scaling.

연구 동기 및 목표

• 사전 훈련 중에 통제되지 않은 어휘 노출이 조합적 일반화 벤치마크에서 가정하는 분포 제어를 무너뜨리는지 조사하기 위해.
• COGS와 같은 벤치마크에서 사전에 훈련된 모델이 보고한 높은 일반화 성능이 사전 훈련 데이터에서 희귀 어휘 항목에 노출됨으로써 인위적으로 과대평가되었는지 평가하기 위해.
• 더 엄격한 어휘 제어를 통해 더 신뢰할 수 있는 일반화 점수를 도출하기 위해 두 가지 수정된 평가 설정을 제안하고 검증하기 위해.
• 어휘 대체 전략의 선택(문자 조합 대비 새로운 임베딩)이 모델 성능과 일반화의 강건성에 어떤 영향을 미치는지 분석하기 위해.
• 사전 훈련이 조합적 일반화를 균일하게 향상시킨다는 가정을 도전하기 위해, 특히 희귀 어휘 항목이 포함된 제로샷 또는 희소샷 설정에서의 경우를 대상으로 하기 위해.

제안 방법

• 사전 훈련 코퍼스에 존재하지 않는 새로운 문자 조합으로 COGS 벤치마크의 문맥에 따라 제어되는 어휘 항목(예: 'hedgehog')을 대체하기 위해.
• 동일한 어휘 항목을 사전 훈련 데이터와 공유되지 않는 새로운 임의의 임베딩으로 초기화된 특수 토큰으로 대체하기 위해.
• 원래의 벤치마크와 동일한 훈련 및 평가 프rotocol를 사용하여, 두 대체 전략 하에서 T5 모델을 수정된 COGS 데이터셋에 대해 미세조정하기 위해.
• 수정된 데이터셋에서 T5 모델의 일반화 정확도를 원래 COGS 벤치마크에서의 성능과 비교하기 위해.
• 통제되지 않은 어휘 노출로 인한 과대평가의 지표로 성능 저하를 측정하기 위해.
• 사전 훈련 데이터 규모의 영향을 분석하기 위해, 점차 증가하는 사전 훈련 데이터량으로 미세조정된 모델 간의 성능 저하를 비교하기 위해.

실험 결과

연구 질문

• RQ1 사전 훈련 중에 통제되지 않은 어휘 노출이 사전에 훈련된 모델의 조합적 일반화 과대평가에 어느 정도 기여하는가?
• RQ2 문맥에 따라 제어되는 어휘 항목을 새로운 문자 조합으로 대체하면 원래의 벤치마크에 비해 일반화 성능에 어떤 영향을 미치는가?
• RQ3 어휘 항목에 대해 새로운 임의의 초기화된 임베딩을 사용할 경우 일반화 성능에 어떤 영향을 미치며, 문자 조합 대체와 비교해보면 어떠한가?
• RQ4 성능 저하 정도가 사전 훈련 데이터 규모에 따라 달라지며, 만약 그렇다면 이는 사전 훈련이 조합적 일반화에서 어떤 역할을 하는지에 대해 무엇을 시사하는가?
• RQ5 어떤 조건에서 사전 훈련이 조합적 일반화를 향상시키지 못하며, 어떤 경우에 오히려 해로울 수 있는가?

주요 결과

• 문맥에 따라 제어되는 어휘 항목을 새로운 문자 조합으로 대체함으로써 T5의 COGS에서의 일반화 정확도는 83%에서 64%~69%로 감소하여, 14~19%p의 과대평가가 발생했음을 시사한다.
• 어휘 항목에 새로운 임베딩을 사용함으로써 성능 저하가 최대 51%p에 이르렀으며, 정확도는 83%에서 최소 32%까지 감소하여, 통제되지 않은 어휘 노출으로 인한 심각한 과대평가가 드러났다.
• 새로운 임베딩 설정에서, 임의의 초기화된 모델이 사전 훈련된 모델보다 성능이 뛰어나, 사전 훈련이 어휘 항목이 적절히 제어되지 않은 경우 일반화에 해로울 수 있음을 시사한다.
• 새로운 임베딩을 사용한 경우의 성능 저하가 문자 조합 대체보다 더 심각했으며, 이는 사전 훈련 데이터와의 임베딩 유사성이 과대평가의 핵심 요소임을 시사한다.
• 성능 저하의 정도는 사전 훈련 데이터의 양이 증가할수록 커졌으며, 이는 더 큰 사전 훈련 데이터가 과대평가를 악화시킨다는 역척도 효과를 드러낸다.
• 이러한 결과들은 이전에 사전 훈련된 모델이 강력한 조합적 일반화를 보인다는 보고가 C4와 같은 사전 훈련 코퍼스에서 희귀 어휘 항목에 노출됨으로써 과대평가되었을 가능성이 있음을 입증한다.