[논문 리뷰] Automatic Creation of Text Corpora for Low-Resource Languages from the Internet: The Case of Swiss German

Lucy Linder, Michael Jungo외 3명|arXiv (Cornell University)|2019. 11. 30.

Natural Language Processing Techniques인용 수 5

한 줄 요약

이 논문은 다국어 페이지와 비공식 콘텐츠를 포함한 다양한 온라인 소스에서 텍스트를 추출하기 위해 맞춤형 웹 크롤러를 사용해 제작한, 공개된 바이어스로 가장 큰 서치스위스 독립 문체 자료인 SwissCrawl를 제시한다. 이 자료는 480,000개 이상의 문장을 포함하고 있으며, 기존 데이터와 결합했을 때 라이프치히 테스트 세트에서 퍼플렉서티를 36% 감소시켜 언어 모델링 성능을 크게 향상시킨다.

ABSTRACT

This paper presents SwissCrawl, the largest Swiss German text corpus to date. Composed of more than half a million sentences, it was generated using a customized web scraping tool that could be applied to other low-resource languages as well. The approach demonstrates how freely available web pages can be used to construct comprehensive text corpora, which are of fundamental importance for natural language processing. In an experimental evaluation, we show that using the new corpus leads to significant improvements for the task of language modeling. To capture new content, our approach will run continuously to keep increasing the corpus over time.

연구 동기 및 목표

• 스위스 독립어와 같은 저자원 언어에 대한 자연어 처리 자원의 부족 문제를 해결하기 위해.
• 공식 TLD가 없고 철자 규칙이 일관되지 않은 상황에서도 스위스 독립어를 인터넷에서 자동으로 확장 가능한 방법으로 수집하기 위해.
• 소셜 미디어 및 포럼과 같은 비공식적 맥락에서 실제 사용 사례를 반영한 종합적이고 최신의 자료를 구축하기 위해.
• 자료가 언어 모델링을 포함한 NLP 작업 향상에 얼마나 유용한지 입증하기 위해.
• 언어 지식의 변화에 따라 반복적이고 인간이 개입하는 웹 크롤링 방식을 통해 자료의 지속적인 확장 가능성을 확보하기 위해.

제안 방법

• 맞춤형 웹 크롤러는 삼음절어, 빈도 가중 단어 조합, 인간이 수작업으로 준비한 입력을 포함한 다중 전략적 시드 기반으로 다양한 검색 쿼리를 생성한다.
• 시스템은 너비 우선 탐색 전략을 사용해 시드 URL에서 시작하여 확장하며, HTML 파싱과 히우리스틱을 활용해 관련 콘텐츠를 추출한다.
• 99%의 신뢰도 기준을 갖춘 언어 식별 모델이 스위스 독립어로 보이지 않는 문장을 걸러내어 하이델베르크어 및 기타 언어의 노이즈를 줄인다.
• 비공식 구두점(예: 아스키 이모티콘 및 방언 전용 타이포그래피 패턴 포함)에 민감한 히우리스틱을 사용해 문장을 문장 단위로 분할한다.
• 정확한 문자 매칭 기반으로 중복 문장을 제거하며, 특수 처리를 통해 umlaut 변형과 잘린 문장에 대응한다.
• 정기적인 간격으로 파이프라인을 재실행함으로써 변화하는 온라인 콘텐츠를 포착함으로써 자료는 지속적으로 확장된다.

실험 결과

연구 질문

• RQ1 공식 TLD가 없고 철자가 일관되지 않은 상황에서도 스케일업 가능한 자동 웹 크롤링 파이프라인은 인터넷에서 스위스 독립어를 효과적으로 수집할 수 있는가?
• RQ2 비공식 온라인 소스에서 수집한 자료의 품질과 다양성은 기존에 더 철저하게 정제된 자료와 비교해 언어적 현실성과 NLP 작업에 대한 유용성 측면에서 어떻게 다른가?
• RQ3 대규모 비공식 자료의 포함 여부가 전통적인 작은 또는 더 공식적인 자료와 비교해 스위스 독립어의 언어 모델링 성능을 얼마나 향상시키는가?
• RQ4 언어 지식의 변화에 따라 반복적이고 인간이 개입하는 시스템 설계는 시간이 지남에 따라 자료 수집 파이프라인을 효과적으로 개선할 수 있는가?
• RQ5 특히 다국어 또는 사용자 생성 콘텐츠 맥락에서 비정형 웹 콘텐츠에서 스위스 독립어 텍스트를 추출하고 분할하는 데 주요 과제는 무엇인가?

주요 결과

• SwissCrawl 자료는 483,526개의 고유 문장을 포함하고 있어 지금까지 알려진 바이어스로 가장 큰 스위스 독립어 자료이다.
• SwissCrawl와 라이프치히 데이터를 함께 학습시킬 경우, 라이프치히 테스트 세트에서 퍼플렉서티가 36% 감소하여 언어 모델링 성능이 크게 향상된다.
• SwissCrawl 전용으로 학습한 모델은 자체 테스트 세트에서 퍼플렉서티 45.9를 기록했으며, 이는 동일한 데이터에서 라이프치히 전용 모델보다 뛰어난 성능을 보였다.
• 라이프치히 전용 모델은 일반화 능력이 떨어져, SwissCrawl 테스트 세트에서 평가했을 때 퍼플렉서티가 거의 두 배로 증가(47.6에서 92.6으로)했다.
• 자료는 실제 스위스 독립어 작문 방식을 반영한 비공식적 사용을 포괄하고 있으며, 슬랭, 생략된 문장 구조, 비표준 구두점 등이 포함되어 있다.
• 시스템은 대부분의 비스위스 독립어 콘텐츠를 성공적으로 식별하고 걸러내었으며, 오진은 주로 철자 오류가 있거나 지역 방언을 사용한 하이델베르크어에 국한되어 있다.