[논문 리뷰] Don't Judge a Language Model by Its Last Layer: Contrastive Learning with Layer-Wise Attention Pooling

Dongsuk Oh, Yejin Kim외 3명|arXiv (Cornell University)|2022. 09. 13.

Topic Modeling인용 수 5

한 줄 요약

이 논문은 고정 풀링 전략(예: 마지막 레이어 또는 평균 풀링)에 의존하는 것 대신, 모든 레이어를 통해 특징을 적응적으로 가중하는 계층별 어텐션 풀링을 제안하여 사전 훈련된 언어 모델(PLMs)에서 문장 표현 학습을 향상시킨다. 이 어텐션 메커니즘을 사용한 대비 학습을 통해, 추론 시 어텐션 레이어를 제거한 후조차도 고정 풀링 전략을 능가하는 최신 기술 성능을 달성하여 의미적 텍스트 유사도 및 의미적 검색 작업에서 뛰어난 성능을 보였다.

ABSTRACT

Recent pre-trained language models (PLMs) achieved great success on many natural language processing tasks through learning linguistic features and contextualized sentence representation. Since attributes captured in stacked layers of PLMs are not clearly identified, straightforward approaches such as embedding the last layer are commonly preferred to derive sentence representations from PLMs. This paper introduces the attention-based pooling strategy, which enables the model to preserve layer-wise signals captured in each layer and learn digested linguistic features for downstream tasks. The contrastive learning objective can adapt the layer-wise attention pooling to both unsupervised and supervised manners. It results in regularizing the anisotropic space of pre-trained embeddings and being more uniform. We evaluate our model on standard semantic textual similarity (STS) and semantic search tasks. As a result, our method improved the performance of the base contrastive learned BERT_base and variants.

연구 동기 및 목표

• 사전 훈련된 언어 모델(PLM)의 레이어들 사이에서 다양한 언어적 특징을 포착하지 못하는 고정 풀링 전략(예: 마지막 레이어 또는 평균 풀링)의 한계를 해결하기 위함.
• 계층별 어텐션 풀링이 PLM의 여러 레이어에서 임의의 작업에 관련된 신호를 더 잘 유지하고 통합할 수 있는지 탐색하기 위함.
• 제안된 풀링 전략이 감독 및 비감독 대비 학습 목표 모두에서 효과적인지 평가하기 위함.
• 추론 비용 증가 없이도 의미적 검색 성능을 향상시킬 수 있으며, 어 attention 레이어를 제거한 후에도 성능이 유지되는지 입증하기 위함.
• 기존의 InfoNCE 기반 대비 학습 방법보다 뛰어난 성능을 보이는 작업에 종속되지 않은 학습 가능한 풀링 메커니즘을 확립하기 위함.

제안 방법

• 모든 레이어의 [CLS] 토큰 표현과 평균 토큰 표현 간의 호환성에 기반해 각 레이어의 중요도 점수를 계산하는 곱셈형 어텐션 메커니즘을 제안한다.
• 학습 가능한 쿼리, 키, 밸류 프로젝션을 사용해 각 레이어의 어텐션 가중치 αi를 계산함으로써, 레이어별 특징을 동적으로 가중한다.
• 식 (2)에 따라 레이어 간 가중 표현을 종합하고, 식 (3)에 따라 가중 표현의 전역 평균을 취한다.
• 마지막 레이어의 [CLS] 표현과 집계된 계층별 표현을 연결하여, 최종 문장 표현을 생성하기 위해 학습 가능한 MLP를 통과시킨다(식 (4)-(5)).
• 기본 감독 대비 학습, 자기지도형 대비 학습, 하이브리드 접근 방식의 세 가지 대비 학습 설계에 이 풀링 전략을 적용한다.
• 정보 이론적 최대화 기반 손실(InfoNCE)을 사용해 의미적으로 유사한 문장 쌍을 가까이, 다를수록 먼 거리로 만드는 방식으로 모델을 훈련함으로써, 임베딩 공간이 더 균일하고 비이상적인 성질을 가지도록 정규화한다.

실험 결과

연구 질문

• RQ1 학습 가능한 계층별 어텐션 풀링 메커니즘이 [CLS]나 평균 풀링과 같은 고정 풀링 전략보다 문장 표현 학습에서 더 뛰어난 성능을 낼 수 있는가?
• RQ2 계층별 어텐션 풀링을 사용한 대비 학습은 기존 방법에 비해 더 균일하고 비이상적인 문장 임베딩을 생성하는가?
• RQ3 제안된 풀링 전략은 의미적 텍스트 유사도(STS)와 의미적 검색 작업 양쪽에서 추론 비용 증가 없이 성능 향상을 이끌 수 있는가?
• RQ4 추론 시 어텐션 메커니즘을 제거한 후에도 계층별 어텐션 풀링의 성능 향상 효과가 유지되는가?
• RQ5 기존 최신 기술 대비 학습 모델들에 비해 제안된 방법의 성능은 어떠한가?

주요 결과

• 제안된 계층별 어텐션 풀링과 대비 학습을 결합한 모델은 STS-B 테스트 세트에서 스피어만 상관계수 86.76을 기록하여, [CLS] Last + AVG Last 연결 전략(85.11)을 포함한 모든 기준 고정 풀링 전략을 능가했다.
• Quora 중복 질문 데이터셋에서 RoBERTa large를 사용한 모델은 계층별 어텐션 풀링을 적용한 결과 MRR@10가 66.32로 기준 모델(65.85)보다 향상되었으며, 메모리 사용량은 동일하고 검색 시간은 감소하였다.
• 추론 시 어텐션 레이어를 제거한 후에도 계층별 어텐션 풀링을 적용한 모델은 여전히 기준 모델을 능가하는 성능을 보였으며, 학습된 표현의 효과성을 입증했다.
• 제거 실험 결과, 모든 레이어의 [CLS]와 평균 어텐션을 조합한 LayerAttPooler(CLS All + AVG All attention)가 가장 높은 성능(_STS-B에서 86.57)을 기록했으며, 마지막 레이어의 [CLS] 표현과 연결할 경우 성능이 더욱 향상되어 86.76을 달성했다.
• 임베딩 공간의 비이상성은 감소하고 균일성이 향상되었으며, 이는 대비 학습 목표를 통한 증거로, 일반화 성능 향상에 기여했다.
• 유사한 파라미터 수와 더 낮은 지연 시간을 유지하면서도 더 나은 의미적 검색 성능을 달성하여, 이 방법이 더 효율적이고 정확한 검색을 가능하게 했다.