[논문 리뷰] Normalization of Transliterated Words in Code-Mixed Data Using Seq2Seq Model & Levenshtein Distance

Soumil Mandal, Karthick Nanmaran|arXiv (Cornell University)|2018. 01. 01.

Natural Language Processing Techniques참고 문헌 18인용 수 7

한 줄 요약

이 논문은 음소적으로 번역된 법인-영어 혼합어를 표준 ITRANS 형식으로 정규화하기 위해 레벤슈타인 거리와 결합한 이단계적 seq2seq 모델을 제안한다. 첫 번째 단계는 음성 정규화를 수행하기 위해 LSTM 기반의 시퀀스-투-시퀀스 모델을 사용하며, 이 후 두 번째 단계는 수작업으로 구성된 ITRANS 어휘사전과의 레벤슈타인 거리 기반 매칭 모듈을 통해 결과를 보정한다. 시스템은 테스트 데이터에서 90.27%의 정확도를 기록하였으며, 이는 후속 감성 분석 성능을 1.5% 향상시켰다.

ABSTRACT

Building tools for code-mixed data is rapidly gaining popularity in the NLP research community as such data is exponentially rising on social media.Working with code-mixed data contains several challenges, especially due to grammatical inconsistencies and spelling variations in addition to all the previous known challenges for social media scenarios.In this article, we present a novel architecture focusing on normalizing phonetic typing variations, which is commonly seen in code-mixed data.One of the main features of our architecture is that in addition to normalizing, it can also be utilized for back-transliteration and word identification in some cases.Our model achieved an accuracy of 90.27% on the test data.

연구 동기 및 목표

• 소셜 미디어 텍스트에서 로마자 스크립트로 표기된 비표준 음소적 철자 변형 문제를 해결하기 위해, 특히 법인-영어 혼합어에서 음소적 철자가 일관되지 않은 경우를 대비한다.
• 비표준 철자 방식을 표준 ITRANS 형식으로 매핑하는 정규화 시스템을 개발하여, 더 나은 의미 이해 및 후속 자연어 처리(NLP) 작업을 가능하게 한다.
• 정규화뿐만 아니라 백트랜스리터레이션과 단어 식별 기능도 지원하는 재사용 가능한 프레임워크를 구축하여 현지 스크립트 도구와의 통합을 가능하게 한다.
• 기존 NLP 시스템(예: 감성 분석)의 성능을 향상시키기 위해, 노이즈가 많은 혼합어 데이터에 정규화 모듈을 적용한다.

제안 방법

• 이중 단계 아키텍처를 사용한다: 먼저, 문자 수준의 seq2seq 모델(양방향 LSTM 인코더 및 디코더를 사용)이 입력 철자 방식을 표준 형태로 정규화한다.
• seq2seq 모델은 6,000개 항목으로 구성된 병렬 어휘사전(PL)을 기반으로 훈련되며, 이는 음소적으로 다양하게 철자된 표현과 그에 대응하는 ITRANS 표준 형식을 쌍으로 제공한다.
• 두 번째 단계에서는 첫 번째 모듈의 출력을 21,850개 항목으로 구성된 더 큰 ITRANS 사전(BN TRANS)과 레벤슈타인 거리 기반으로 매칭하여 가장 유사한 결과를 찾는다.
• 특정 음소적 대체(예: 'a'/'o', 'b'/'v')를 동일시하는 방식으로 수정된 레벤슈타인 거리를 적용하여, 매칭의 강건성을 향상시킨다.
• 모델 추론 이전에 규칙 기반 전처리를 수행한다: 숫자는 해당 법인어로 대체된다(예: '1' → 'ek'), 그리고 문자 반복(예: 'baaaad')은 두 글자로 자르는 방식으로 처리된다.
• 시스템은 테스트 데이터를 이용한 단어 수준 평가와, 이전 연구에서 제안된 감성 분석 파이프라인을 활용한 작업 수준 평가를 통해 평가된다.

실험 결과

연구 질문

• RQ1 음소적으로 일관되지 않은 법인-영어 혼합어의 철자 방식을 표준 ITRANS 형식으로 정규화하는 데 있어 seq2seq 모델이 효과적으로 기능할 수 있는가?
• RQ2 신경 정규화 모듈과 레벤슈타인 거리 매칭을 조합함으로써, 직접 문자열 매칭 방식보다 정확도가 얼마나 향상되는가?
• RQ3 일부 음소적 대체(예: 'a' 대신 'o', 'b' 대신 'v')는 정규화 성능에 어떤 영향을 미치며, 이러한 대체를 동일시하는 방식으로 모델링하면 성능 향상이 가능한가?
• RQ4 정규화가 혼합어 데이터에서 감성 분석과 같은 후속 NLP 작업의 성능을 실제로 향상시키는가?
• RQ5 OOV(Out-of-Vocabulary) 단어와 모델 오류는 전체 시스템 정확도에 어떤 영향을 미치며, 이러한 문제는 어떻게 완화할 수 있는가?

주요 결과

• 제안된 시스템은 테스트 데이터에서 단어 수준의 정규화 정확도가 90.27%를 기록하였으며, seq2seq 모듈가 없는 기준 설정보다 유의미하게 높은 성능을 보였다.
• seq2seq 정규화 단계의 통합으로 인해, 직접 레벤슈타인 매칭 방식 대비 정확도가 30.94% 포인트 향상되었으며(비수정 설정에서 58.78%에서 최고의 비수정 설정인 89.72%로), 이는 뚜렷한 성능 향상이다.
• 특정 음소 쌍을 동일시하는 방식으로 수정된 레벤슈타인 거리를 적용함으로써, 표준 레벤슈타인 거리 대비 정확도가 0.55% 포인트 향상되었다.
• 감성 분석 모델의 F1 점수는 1.41점 향상되어 81.20에서 82.61로 상승하였으며, 이는 실질적인 후속 작업 성능 향상의 증거이다.
• 정규화 오류의 92%는 BN TRANS 어휘사전에 포함되지 않은 OOV 단어에서 기인하였으며, 이는 어휘 커버리지가 핵심적 한계임을 시사한다.
• 오류 출력과 정답 ITRANS 형식 사이의 평균 레벤슈타인 거리는 1.89였으며, 이는 seq2seq 모델의 예측이 목표에 매우 가까이 있었음을 의미하며, 더 나은 어휘 사전 커버리지로는 상당한 성능 향상이 가능할 것임을 시사한다.