[논문 리뷰] Adapting Sequence to Sequence models for Text Normalization in Social Media

Ismini Lourentzou, Kabir Manghnani외 1명|arXiv (Cornell University)|2019. 04. 12.

Natural Language Processing Techniques인용 수 18

한 줄 요약

이 논문은 소셜 미디어 텍스트 정규화를 위한 하이브리드 단어-문자 수열-수열 모델을 제안한다. 이 모델은 단어 수준의 인코더-디코더와 적대적 예제로 훈련된 문자 수준의 모델을 결합하여 노이즈가 많은 비공식 텍스트에 대한 강건성을 향상시킨다. 이 모델은 기존의 신경망 아키텍처를 초월하며 외부 지식 없이도 최신 기술 수준의 성능을 달성하여 사용자 생성 콘텐츠에서의 철자 실수, 약어, 청각적 대체어를 효과적으로 처리한다.

ABSTRACT

Social media offer an abundant source of valuable raw data, however informal writing can quickly become a bottleneck for many natural language processing (NLP) tasks. Off-the-shelf tools are usually trained on formal text and cannot explicitly handle noise found in short online posts. Moreover, the variety of frequently occurring linguistic variations presents several challenges, even for humans who might not be able to comprehend the meaning of such posts, especially when they contain slang and abbreviations. Text Normalization aims to transform online user-generated text to a canonical form. Current text normalization systems rely on string or phonetic similarity and classification models that work on a local fashion. We argue that processing contextual information is crucial for this task and introduce a social media text normalization hybrid word-character attention-based encoder-decoder model that can serve as a pre-processing step for NLP applications to adapt to noisy text in social media. Our character-based component is trained on synthetic adversarial examples that are designed to capture errors commonly found in online user-generated text. Experiments show that our model surpasses neural architectures designed for text normalization and achieves comparable performance with state-of-the-art related work.

연구 동기 및 목표

• 표준 NLP 도구가 OOV(어휘 외 단어) 단어와 비표준 형태로 인해 실패하는 비공식적이고 노이즈가 많은 소셜 미디어 텍스트에서의 텍스트 정규화 문제를 해결하기 위해.
• 문자 유사도나 국소 분류에 의존하는 기존 방법의 한계를 극복하기 위해 신경 수열-수열 모델을 통해 문맥 정보를 통합하기 위해.
• 스팸어, 약어, 청각적 대체어, 문장 부호 오류와 같은 다양한 언어적 변형을 처리할 수 있는 강건한 엔드 투 엔드 학습 가능한 모델을 개발하기 위해.
• 희귀하거나 새로운 OOV 형태에 대해 외부 어휘집이나 사전 자료에 의존하지 않고도 정규화 성능을 향상시키기 위해.

제안 방법

• 단어 수준의 구성 요소는 어휘 내(IV) 토큰을 위한 것이고, 문자 수준의 구성 요소는 어휘 외(OOV) 또는 노이즈가 있는 형태를 위한 것이다.
• 문자 수준의 모델은 소셜 미디어 텍스트에서 흔히 발생하는 오류를 모방하기 위해 설계된 합성 적대적 예제로 훈련된다. 예를 들어 철자 실수, 숫자 대체, 장음 모음의 연장 등이다.
• 장거리 의존성과 문맥 민감한 정규화 결정을 포착하기 위해 단어 수준과 문자 수준 양쪽에 어텐션 메커니즘을 적용한다.
• 단어 수준의 디코더가 OOV 토큰에 대해 문자 수준의 인코더 출력을 주시하는 통합 훈련 전략을 사용한다.
• 적대적 훈련 데이터는 일반적인 노이즈 패턴(예: '2morrow' → 'tomorrow')을 표준 단어에 적용하여 실제 사용자 오류를 시뮬레이션한다.
• 표준 평가 지표인 BLEU와 정확한 일치도를 사용하여 평가하며, 엄격한 토큰 일치 외의 정확성을 평가하기 위해 인간 평가도 실시한다.

실험 결과

연구 질문

• RQ1 하이브리드 단어-문자 수열-수열 모델은 소셜 미디어에서 다양하고 복잡한 비공식 텍스트 정규화 양식을 효과적으로 처리할 수 있는가?
• RQ2 어텐션 메커니즘을 통한 문맥 정보 통합은 국소적 또는 문자 기반 방법에 비해 정규화 정확도를 어떻게 향상시키는가?
• RQ3 적대적으로 생성된 훈련 데이터는 예상치 못한 OOV 및 노이즈가 있는 단어 형태에 대한 모델의 강건성을 어느 정도 향상시킬 수 있는가?
• RQ4 제안된 모델은 외부 어휘집이나 언어 자원에 의존하지 않고도 최신 기술 수준의 시스템과 비교 가능한 성능을 달성하는가?
• RQ5 강조나 대문자 사용과 같은 의미 보존이 모호한 경우 정규화 결정은 어떻게 달라지는가?

주요 결과

• 제안된 하이브리드 모델(HS2S)은 특별히 텍스트 정규화를 위해 설계된 표준 신경 수열-수열 모델보다 뛰어난 성능을 달성한다.
• 외부 지식 자료(예: 슬랭어 사전, 사전 학습된 임베딩)를 사용하지 않더라도 문헌상의 최신 기술 수준의 시스템과 유사한 성능을 보인다.
• 문자 수준의 구성 요소는 특히 약어, 청각적 대체어, 철자 실수의 처리에 있어 OOV 및 노이즈가 있는 형태의 처리 능력을 크게 향상시킨다.
• 일부 타겟 애너테이션에 누락되거나 잘못된 경우에도, 모델은 황금 표준에서 정규화되지 않은 몇몇 토큰을 올바르게 정규화하여 강력한 일반화 능력을 보여준다.
• 문장 부호 오류, 장음 모음 연장, 약어 확장과 같은 다양한 노이즈 유형에 대해 강건성을 보이며, 외부 언어 자원에 대한 의존도가 최소한이다.
• 인간 평가를 통해 모델이 의미적으로 정확하고 문맥적으로 적절한 정규화를 생성함을 확인하였으며, 특히 모호한 경우에도 그러한 성능을 유지를 한다.