[논문 리뷰] Less is More: Pre-training a Strong Siamese Encoder Using a Weak Decoder.

Shuqi Lu, Chenyan Xiong외 7명|arXiv (Cornell University)|2021. 02. 18.

Topic Modeling참고 문헌 39인용 수 10

한 줄 요약

이 논문은 [CLS] 토큰에서만 시퀀스를 재구성하는 약한 디코더를 통해 사전 훈련된 시AME이스 인코더인 SEED-Encoder를 제안한다. 이는 인코더가 강력하고 매칭 최적화된 표현을 학습하도록 유도한다. 이 방법은 웹 검색 및 추천 벤치마크에서 시퀀스 매칭 작업의 zero-shot 및 few-shot 성능을 크게 향상시킨다.

ABSTRACT

Many real-world applications use Siamese networks to efficiently match text sequences at scale, which require high-quality sequence encodings. This paper pre-trains language models dedicated to sequence matching in Siamese architectures. We first hypothesize that a representation is better for sequence matching if the entire sequence can be reconstructed from it, which, however, is unlikely to be achieved in standard autoencoders: A strong decoder can rely on its capacity and natural language patterns to reconstruct and bypass the needs of better sequence encodings. Therefore we propose a new self-learning method that pretrains the encoder with a weak which reconstructs the original sequence from the encoder's [CLS] representations but is restricted in both capacity and attention span. In our experiments on web search and recommendation, the pre-trained SEED-Encoder, SiamEsE oriented encoder by reconstructing from weak decoder, shows significantly better generalization ability when fine-tuned in Siamese networks, improving overall accuracy and few-shot performances. Our code and models will be released.

연구 동기 및 목표

• 웹 검색 및 추천과 같은 실세계 응용 분야에서 시퀀스 매칭을 위한 시AME이스 네트워크의 시퀀스 인코딩 품질을 향상시키기 위해.
• 강력한 디코더가 고품질 인코딩의 필요성을 회피할 수 있는 표준 오토인코더의 한계를 해결하기 위해.
• 재구성 능력과 주의 범위를 제한함으로써 약한 디코더가 시퀀스 매칭에서 더 나은 표현 학습을 유도할 수 있는지 조사하기 위해.
• 자기지도 학습 기반 사전 훈련 방법을 개발하여 미세조정된 시AME이스 네트워크의 일반화 능력을 향상시키기 위해.
• 더 강력한 인코더 아키텍처를 통해 소수의 예제와 전혀 없는 상황에서도 성능 향상을 입증하기 위해.

제안 방법

• 입력 시퀀스의 [CLS] 표현을 기반으로 자기지도 학습 재구성 목표를 사용해 시AME이스 인코더를 사전 훈련한다.
• 제한된 능력과 제한된 주의 범위를 가진 약한 디코더를 사용해 [CLS] 토큰에서 전체 입력 시퀀스를 재구성한다.
• 디코더가 언어적 패턴이나 장거리 의존성에 의존하는 것을 방지함으로써, 인코더가 더 정보가 풍부한 표현을 학습하도록 유도한다.
• 디코더 제약 조건 하에 정확한 시퀀스 재구성에 필요한 [CLS] 표현을 생성하도록 인코더를 훈련한다.
• 다음으로 시퀀스 매칭을 위한 다운스트림 시AME이스 네트워크에 사전 훈련된 인코더를 적용하고, 분류기 헤드만 미세조정한다.
• 재구성 손실을 보조 목표로 사용하여 매칭 작업을 위한 시퀀스 인코딩 품질을 향상시킨다.

실험 결과

연구 질문

• RQ1 입력 시퀀스를 [CLS] 토큰에서 재구성하는 약한 디코더가 시AME이스 네트워크의 시퀀스 인코딩 품질을 향상시킬 수 있는가?
• RQ2 디코더의 능력과 주의 범위를 제약하면 시퀀스 매칭에서 더 나은 일반화가 이루어지는가?
• RQ3 약한 디코더를 사용한 사전 훈련이 소수의 예제나 전혀 없는 설정에서 표준 오토인코딩 또는 대비 기반 사전 훈련과 비교해 어떻게 성능을 냈는가?
• RQ4 제안된 방법이 실세계 웹 검색 및 추천 작업에서 성능 향상을 이룰 수 있는가?
• RQ5 재구성을 약한 디코더를 통해 강제로 구현할 경우, 인코더의 표현 품질은 어느 정도 향상되는가?

주요 결과

• SEED-Encoder는 zero-shot 및 few-shot 시퀀스 매칭 시나리오에서 표준 사전 훈련 기반 모델보다 뛰어난 성능을 보였다.
• 특히 데이터가 적은 환경에서 미세조정 후 다운스트림 시AME이스 네트워크에서 정확도가 크게 향상되었다.
• 약한 디코더의 제약 조건이 디코더가 고품질 인코더 표현의 필요성을 회피하는 것을 효과적으로 방지했다.
• 웹 검색 및 추천을 포함한 다양한 시퀀스 매칭 작업에서 사전 훈련된 인코더가 더 나은 일반화 능력을 보였다.
• 이 방법은 강력한 전이 성능를 보이며, [CLS] 표현이 더 강력하고 구분력 있는 특징을 학습함을 시사한다.
• 저자들은 약한 디코더의 제약 조건이 이 방법의 성공에 필수적임을 확인했으며, 더 강력한 디코더에서는 더 나은 인코딩을 유도하지 못했다.