[논문 리뷰] Assessing Phrasal Representation and Composition in Transformers

Lang Yu, Allyson Ettinger|arXiv (Cornell University)|2020. 10. 08.

Topic Modeling참고 문헌 54인용 수 4

한 줄 요약

이 논문은 어휘 효과와 진정한 조합 의미를 분리하는 제어된 실험을 통해 최신 트랜스포머 모델의 어휘 표현과 조합 방식을 체계적으로 평가한다. 모델이 단어 내용을 강하게 반영하는 것으로 나타났지만, 어휘 겹침 외에는 어휘 수준의 조합 의미에 대해 거의 증거를 보이지 않으며, 어휘 겹침을 통제할 경우 성능이 크게 떨어지는 것으로 나타났다.

ABSTRACT

Deep transformer models have pushed performance on NLP tasks to new limits, suggesting sophisticated treatment of complex linguistic inputs, such as phrases. However, we have limited understanding of how these models handle representation of phrases, and whether this reflects sophisticated composition of phrase meaning like that done by humans. In this paper, we present systematic analysis of phrasal representations in state-of-the-art pre-trained transformers. We use tests leveraging human judgments of phrase similarity and meaning shift, and compare results before and after control of word overlap, to tease apart lexical effects versus composition effects. We find that phrase representation in these models relies heavily on word content, with little evidence of nuanced composition. We also identify variations in phrase representation quality across models, layers, and representation types, and make corresponding recommendations for usage of representations from these models.

연구 동기 및 목표

• 최신 트랜스포머 모델이 단순한 어휘 내용을 초월해 복잡한 어휘 조합 의미를 수행하는지 조사하기 위해.
• 어휘 겹침에 기반한 표현과 진정한 조합 의미에 기반한 표현을 구분하기 위해.
• 모델, 레이어, 표현 유형(예: CLS, Avg-Phrase) 간 어휘 표현 품질의 변동성을 분석하기 위해.
• 목적에 따라 최적의 표현을 선택하기 위한 실용적 권고를 제공하기 위해(예: 어휘 내용의 정확성 대비 조합 의미의 정확성).

제안 방법

• 사람이 평가한 어휘 유사도와 의미 변화를 기반으로 어울림 유사도 및 대체문 분류 벤치마크를 수정하여 사용하였다.
• 어휘 겹침에서 오는 신호를 제거하여 조합 효과를 어휘 효과로부터 분리하는 제어된 데이터셋을 구축하였다.
• 고전적인 의미 선택 테스트(예: Kintsch, 2001)를 적용하여 어휘 수준에서의 조합 능력을 평가하였다.
• BERT, RoBERTa, DistilBERT, XLNet, XLM-RoBERTa 등 여러 모델에 대해 레이어 단위 분석을 수행하였다.
• 다양한 표현 유형 평가: [CLS], [SEP], [CLS] 토큰, 그리고 워드피스 임베딩의 평균값(Avg-Phrase).
• 제어되지 않은 설정과 제어된 설정 간 결과를 비교하여 어휘 내용의 기여도와 조합 의미의 기여도를 분리하였다.

실험 결과

연구 질문

• RQ1 어휘 겹침과 무관하게 트랜스포머 표현이 이중 어휘 어구의 진정한 조합 의미를 어느 정도 반영하는가?
• RQ2 다양한 모델(예: BERT, RoBERTa, DistilBERT)과 레이어에서 어휘 표현 품질은 어떻게 변화하는가?
• RQ3 어느 표현 유형(예: CLS, Avg-Phrase, 중심어)이 어구 의미 또는 어휘 내용을 가장 잘 포착하는가?
• RQ4 주요 조합 테스트(예: 의미 선택)는 진정한 조합 이해를 신뢰성 있게 측정하는가, 아니면 어휘 신호에 의해 혼동되는가?
• RQ5 하위 작업에 적합한 충실한 어휘 표현을 지원하는 특정 모델 설정(모델, 레이어, 표현 유형)을 식별할 수 있는가?

주요 결과

• 어휘 겹침이 통제되지 않은 경우, 모델은 인간의 어휘 유사도 평가와 강한 상관관계를 보이며, 대체문 분류 작업에서 높은 성능을 보였다.
• 어휘 겹침을 통제한 후, 유사도 및 분류 작업 성능이 크게 하락하여, 모델의 성공이 주로 어휘 내용에 의해 이끌리며 조합 의미에 의해 영향을 받지 않는다는 것을 시사한다.
• 후행 레이어에서 RoBERTa의 Avg-Phrase 표현과 XLM-RoBERTa의 Avg-Phrase 표현(어구가 문장 맥락에 있을 경우)이 조합 민감성에 가장 유망한 신호를 보였다.
• 최종 레이어에서 DistilBERT의 CLS 토큰은 CLS 표현 중에서 가장 뛰어난 성능을 보였지만, 여전히 조합 정확성 측면에선 제한적이었다.
• CLS 토큰은 일반적으로 어휘 표현에 부적절하며, DistilBERT를 제외한 모든 모델에서 최종 레이어에서도 마찬가지였다.
• 주요 의미 선택 테스트는 제어되지 않은 유사도 작업과 유사한 결과를 보였으며, 이는 어휘 효과에 의해 영향을 받을 가능성이 높아 진정한 조합을 측정하지 못할 수 있음을 시사한다.