[논문 리뷰] Learning to Look Inside: Augmenting Token-Based Encoders with Character-Level Information

Yuval Pinter, Amanda Stent외 2명|arXiv (Cornell University)|2021. 08. 01.

Topic Modeling참고 문헌 29인용 수 5

한 줄 요약

이 논문은 기존의 사전 훈련된 트랜스포머 모델에 문자 수준의 표현을 통합함으로써 희귀어, OOV(어휘 외 단어), 비표준어를 더 잘 다룰 수 있도록 하는 XRayEmb를 제안한다. 문자 수준 인코더와 생성형 디코더를 통합하여, 기존의 기본 모델을 다시 훈련하지 않고도 성능 향상을 이룬다. 특히 시퀀스 태깅 작업에서 뛰어난 성능 향상을 보인다.

ABSTRACT

Commonly-used transformer language models depend on a tokenization schema which sets an unchangeable subword vocabulary prior to pre-training, destined to be applied to all downstream tasks regardless of domain shift, novel word formations, or other sources of vocabulary mismatch. Recent work has shown that "token-free" models can be trained directly on characters or bytes, but training these models from scratch requires substantial computational resources, and this implies discarding the many domain-specific models that were trained on tokens. In this paper, we present XRayEmb, a method for retrofitting existing token-based models with character-level information. XRayEmb is composed of a character-level "encoder" that computes vector representations of character sequences, and a generative component that decodes from the internal representation to a character sequence. We show that incorporating XRayEmb's learned vectors into sequences of pre-trained token embeddings helps performance on both autoregressive and masked pre-trained transformer architectures and on both sequence-level and sequence tagging tasks, particularly on non-standard English text.

연구 동기 및 목표

• 사전 훈련된 언어 모델에서 서브워드 토크나이저의 한계를 해결하기 위해, 특히 도메인 이동 또는 희귀어/오타 단어가 있는 경우에 대비한다.
• 고정된 서브워드 어휘의 복구 불가능성으로 인해 새로운 도메인이나 언어적 변형에 적응하는 데 어려움을 겪는 문제를 해결한다.
• 기존의 사전 훈련된 모델이 다시 훈련하지 않고도 문자 수준의 표현을 활용할 수 있도록 한다.
• 비표준 영어 텍스트에서 특히 뛰어난 성능 향상을 이끌어내기 위해 시퀀스 수준 및 시퀀스 태깅 작업에서의 성능을 향상시킨다.
• 기본 토큰 기반 모델에 보조 구성 요소를 통합하여 문자 수준 지식을 통합하는 경량의 레트로핏 기반 방법을 개발한다.

제안 방법

• XRayEmb는 문자 시퀀스에서 조밀한 벡터 표현을 계산하는 문자 수준 인코더(XR-Enc)를 도입한다.
• 생성형 디코더(XR-Dec)는 XR-Enc가 생성한 문맥 기반 표현에서 목표 단어를 재구성하도록 학습한다.
• 시스템은 순환 구조로 사전 훈련되며, XR-Enc가 문자를 벡터로 인코딩하고 XR-Dec가 이를 다시 시퀀스로 디코딩함으로써 자기 지도 학습 루프를 형성한다.
• 문자 수준의 구성 요소는 최종 작업에 적합하게 하는 동안 주 트랜스포머 모델과 함께 공동으로 미세조정된다.
• 단어 경계를 알리는 데 사용되는 예약된 종료 토큰(/w)를 사용하며, 마스킹 및 순차적 생성 기반 트랜스포머 아키텍처를 모두 지원한다.
• 훈련 과정에는 도메인 특화 데이터(예: 트위터)에서 두 번째 사전 훈련 단계가 포함되어, 문자 모듈이 새로운 분포에 적응하도록 한다.

실험 결과

연구 질문

• RQ1 기존의 사전 훈련된 토큰 기반 모델에 레트로핏 방식으로 문자 수준 표현을 통합하면, 하류 NLP 작업에서 성능 향상이 이루어지는가?
• RQ2 XRayEmb는 표준 사전 훈련된 모델과 비교해 희귀어나 비표준어가 포함된 시퀀스 태깅 작업에서 어떻게 성능을 내는가?
• RQ3 도메인 이동이 XRayEmb의 성능에 어떤 영향을 미치며, 새로운 데이터 분포에 얼마나 잘 적응하는가?
• RQ4 사이클 의존성 루프나 접미사 기반 추론과 같은 개별 구성 요소가 전체 모델 성능에 어떤 기여를 하는가?
• RQ5 주 트랜스포머 모델을 다시 훈련하지 않고 XRayEmb가 성능 향상에 얼마나 기여할 수 있는가?

주요 결과

• XRayEmb는 BERT, RoBERTa, GPT2 등 다양한 모델에서 비표준 영어(예: 소셜 미디어 텍스트)에서 시퀀스 태깅 성능을 향상시킨다.
• 주 모델과 XRayEmb 구성 요소를 모두 미세조정하는 것이 특징 추출만 하는 것보다 더 좋은 성능을 내며, 문자 모듈의 적응 가능성임을 시사한다.
• 도메인 특화 데이터(예: 트위터)에서 XRayEmb를 훈련하면 위키백과 데이터를 사용할 경우보다 성능이 뛰어나며, NYTWIT 작업에서 BERT 기준 3.11점 향상되었다.
• 사이클 의존성 루프를 제거하면 BERT와 GPT2에서는 성능 향상이지만 RoBERTa에서는 성능 저하가 발생하여, 아키텍처 설계에 모델별 민감도가 있음을 시사한다.
• 사전 훈련 단계에서 접미사 기반 추론이 마스킹 모델에는 도움이 되지만, 왼쪽에서 오른쪽으로 생성하는 GPT2에는 악영향을 미치며, 이는 그 생성 제약 조건 때문일 것이다.
• 시퀀스 태깅 작업에서 측정 가능한 성능 향상을 이끌어내며, 同시에 시퀀스 수준 작업의 성능를 유지함으로써 강건성과 전이 가능성(transferability)을 입증한다.