[논문 리뷰] The Danish Gigaword Project

Leon Derczynski, Manuel R. Ciosici외 13명|arXiv (Cornell University)|2020. 05. 07.

Natural Language Processing Techniques참고 문헌 27인용 수 6

한 줄 요약

이 논문은 다양한 도메인, 시기, 방언, 사회경제적 배경을 포함하는 10억 단어 분량의 다양한 덴마크어 텍스트로 구성된 무료로 이용 가능한 덴마크 기간보어 코퍼스(Dagw)를 소개한다. 이 코퍼스는 뉴스보도, 방송 미디어, 웹 콘텐츠, 소설, 보른홀름스키와 같은 지역 방언을 포함한 수작업 코퍼스 총집과 언어학적 필터링을 통해 품질과 대표성을 확보하여, 강력하고 일반적인 목적의 덴마크어 NLP 모델을 훈련시킬 수 있도록 한다. 이는 덴마크어 NLP 자원의 대규모 및 고품질 부족 문제를 해결한다.

ABSTRACT

Danish language technology has been hindered by a lack of broad-coverage corpora at the scale modern NLP prefers. This paper describes the Danish Gigaword Corpus, the result of a focused effort to provide a diverse and freely-available one billion word corpus of Danish text. The Danish Gigaword corpus covers a wide array of time periods, domains, speakers' socio-economic status, and Danish dialects.

연구 동기 및 목표

• 덴마크어 NLP를 위한 대규모, 대표성 있는, 무료로 이용 가능한 코퍼스의 부족 문제를 해결하여 고성능 언어 모델 개발을 저해하는 요소를 제거한다.
• 지역 방언(예: 보른홀름스키 포함)과 다양한 사회경제적 배경 및 인구 통계적 배경을 반영하는 일반 목적의 광범위한 커버리지의 코퍼스를 구축한다.
• Common Crawl와 같은 기존 데이터셋의 한계를 극복한다. 이는 언어 식별 오류, 비덴마크어 콘텐츠, 현대 웹 언어의 과잉 표현 등의 문제를 야기한다.
• 딥 러닝 모델 훈련을 지원하기 위해 충분한 크기와 언어학적 품질을 갖춘 코퍼스를 제공함으로써, 덴마크어의 희귀한 발음(예: 'å')과 'træls'와 같은 희귀 어휘 항목 등 자원이 부족한 특성에 대한 지원을 강화한다.
• 라이선싱 제약 없이 연구자와 개발자가 덴마크어 NLP 도구를 구축하고 향상시킬 수 있도록 하여, 덴마크어 NLP 분야의 공정한 접근성과 혁신을 촉진한다.

제안 방법

• 뉴스보도(베링스케 티엔데), 방송 미디어(DR, TV2), 웹 콘텐츠(폴리티켄, 베링스케 티엔데), 그리고 디지털화된 문학 및 방언 텍스트를 포함한 다양한 텍스트 소스를 대상으로 수작업 총집을 통해 코퍼스를 구축하였다.
• 비덴마크어 콘텐츠를 제거하기 위해 언어 식별 및 필터링을 적용하였으며, 특히 노르웨이어 데스크모를과의 혼동을 방지하기 위해 언어학적 및 메타데이터 기반 검증을 사용하였다.
• 코퍼스에는 보른홀름스키 어휘사전 프로젝트와 같은 특수 서브코퍼스가 포함되어 있으며, 이는 1930~1940년대 비표준 보른홀름스키 어휘로 약 40만 단어의 지역 방언 문학을 보존한다.
• 각 문서당 하나의 파일로 UTF-8 텍스트 형식으로 저장하였으며, 표준화된 이름 규칙(예: 'tv2r_01672')을 사용하였다.
• 각 문서의 메타데이터는 doc_id, date_published, uri, year_published, date_collected, date_built, location_name, location_latlong 등의 필드를 포함한 JSONL 파일에 저장하였다.
• 각 섹션에는 CC0, CC-BY, 또는 CC-NC와 같은 유연한 라이선스를 사용한 LICENSE 파일이 포함되어 있어 넓은 사용 가능성을 확보하고 코퍼라이트 제약을 피하기 위해 설계되었다.

실험 결과

연구 질문

• RQ1 현대 NLP 및 딥 러닝 모델을 지원하기 위해 대규모, 고품질, 대표성 있는 덴마크어 코퍼스를 어떻게 구성할 수 있는가?
• RQ2 보른홀름스키와 같은 지역 방언의 포함이 덴마크어 NLP 시스템의 강건성과 일반화 능력에 어느 정도 기여하는가?
• RQ3 자동 수집된 데이터셋인 Common Crawl에 비해 수작업 총집 코퍼스가 덴마크어의 언어학적 품질과 대표성 측면에서 뛰어나다고 볼 수 있는가?
• RQ4 접근성이 높은 언어인 덴마크어와 노르웨이어 데스크모를 간의 언어 식별 오류를 코퍼스 구축 과정에서 어떻게 최소화할 수 있는가?
• RQ5 도메인, 시기, 어조 및 어조 배경에 따라 다양성이 확보된 코퍼스가 덴마크어의 후속 NLP 작업 성능에 어떤 영향을 미치는가?

주요 결과

• 덴마크 기간보어 코퍼스(Dagw)는 약 10억 단어의 덴마크어 텍스트로 구성되어 있으며, 이는 덴마크어 NLP를 위한 첫 번째 대규모, 무료로 이용 가능한, 일반 목적의 코퍼스이다.
• 코퍼스는 뉴스보도, 방송 미디어, 웹 콘텐츠, 소설, 보른홀름스키와 같은 지역 방언을 포함하여 다양한 도메인을 다루어 언어 다양성을 크게 향상시켰다.
• 보른홀름스키 서브코퍼스는 약 40만 단어로 구성되어 있으며, 현재까지 가장 광범위한 디지털화된 보른홀름스키 방언 문학 자료를 보존하고 있으며, 희귀하고 멸종 위험에 처한 언어 형태를 유지하고 있다.
• 수작업 총집과 언어학적 필터링을 통해 Common Crawl와 같은 자동 수집 코퍼스에서 흔히 발생하는 비덴마크어 콘텐츠와 언어 식별 오류를 줄여 데이터 품질과 대표성을 향상시켰다.
• 코퍼스는 CC0, CC-BY, 또는 CC-NC와 같은 자유로운 라이선스를 사용하여 연구 및 산업 분야에서 제한 없이 사용할 수 있도록 하여 덴마크어 NLP 개발의 진입 장벽을 낮추었다.
• 데이터 증강 기법을 통해 통계적 및 어휘적 성질이 유지되어 다양한 작업에서 NLP 모델의 훈련 및 평가에 유용성을 보장한다.