[논문 리뷰] Word Embeddings from Large-Scale Greek Web Content

Stamatis Outsios, Konstantinos Skianis외 3명|arXiv (Cornell University)|2018. 10. 08.

Natural Language Processing Techniques참고 문헌 3인용 수 8

한 줄 요약

이 논문은 2000만 개의 그리스어 웹 페이지로 구성된 50GB의 코퍼스를 기반으로, 서브워드 정보를 포함한 FastText를 사용해 훈련한 최초의 대규모 그리스어 워드 임베딩을 제시한다. 주요 기여는 유사성, 유사어 관계, 유사어 분석 및 t-SNE 시각화를 포함한 의미 관계를 상호작용적으로 탐색할 수 있는 실시간 웹 도구를 포함한 공개 가능하고 고품질의 자원을 제공하는 것이다.

ABSTRACT

Word embeddings are undoubtedly very useful components in many NLP tasks. In this paper, we present word embeddings and other linguistic resources trained on the largest to date digital Greek language corpus. We also present a live web tool for testing the Greek word embeddings, by offering "analogy", "similarity score" and "most similar words" functions. Through our explorer, one could interact with the Greek word vectors.

연구 동기 및 목표

• 2000만 개의 그리스어 웹 페이지를 크롤링하여 자연어 처리(NLP)를 위한 가장 큰 공개 가능한 그리스어 코퍼스를 구축하기 위해 노력한다.
• 대규모이고 정제된 코퍼스를 기반으로 서브워드 모델링을 적용한 FastText를 사용해 고품질의 그리스어 워드 임베딩을 개발한다.
• 유사성, 유사어 관계, 군집화를 포함한 의미 관계 탐색을 위한 실시간 웹 기반 도구를 제공한다.
• 후속 NLP 작업을 위한 n-그램, 정지어 목록, 어휘 자원 등의 언어학적 자원을 제공한다.
• 웹 인터페이스를 통해 t-SNE와 k-means 군집화를 활용해 의미 관계를 시각화할 수 있도록 한다.

제안 방법

• 45일 간 Heritrix를 사용해 2000만 개의 그리스어 URL을 크롤링하고, 보존을 위해 WARC 형식으로 데이터를 저장한다.
• Boilerplate, 비그리스어 콘텐츠를 제거하기 위해 여러 라이브러리(Boilerpipe, BeautifulSoup, Justext)를 사용해 텍스트를 사전 처리한다.
• 도메인별로 중복 제거를 적용해 코퍼스 크기를 75% 감소시켰으며, 결과적으로 약 50GB의 정제된 텍스트(30억 토큰, 1,1800만 개의 고유 문장)를 확보했다.
• minCount=11 및 음성 샘플링을 최적화한 300차원 벡터를 사용해 여러 개의 FastText 및 gensim 기반 skip-gram 모델을 훈련시켰다.
• t-SNE 차원 감소 및 k-means 군집화를 활용한 벡터 탐색 도구를 호스팅하기 위해 Flask 기반 웹 인터페이스를 Jinja 및 Bootstrap을 사용해 구축했다.
• 유사도 점수 산정, 가장 유사한 단어 검색, 유사어 분석, 단어 조합 비교 등 상호작용 기능을 구현했다.

실험 결과

연구 질문

• RQ1 대규모 그리스어 웹 코퍼스를 기반으로 훈련된 FastText 기반 워드 임베딩의 성능이 다른 방법과 비교해 어떻게 되는가?
• RQ2 중복 제거 및 보일러플레이트 제거 파이프라인의 효과는 NLP 작업의 코퍼스 품질 향상에 얼마나 기여하는가?
• RQ3 실시간 웹 기반 도구는 그리스어 워드 벡터의 의미 관계 탐색과 해석에 효과적으로 기여하는가?
• RQ4 서브워드 정보와 skip-gram 훈련 방식은 그리스어의 의미 유사도 및 철자 오류 수정 작업의 신뢰성에 어떤 영향을 미치는가?
• RQ5 t-SNE 시각화를 통해 그리스어 워드 임베딩에서 의미 있는 군집과 관계를 얼마나 잘 드러내는가?

주요 결과

• 중복 제거 후 최종 코퍼스는 약 30억 토큰과 1,1800만 개의 고유 문장을 포함하며, 원본 데이터 대비 크기가 75% 감소했다.
• 서브워드 정보를 포함한 FastText skip-gram 모델(MinCount=11, 음성 샘플링)이 유사도 및 철자 오류 수정 평가에서 최고의 성능을 보였다.
• 웹 기반 탐색기 도구는 의미 군집의 t-SNE 시각화, 유사어 관계 탐색, 유사도 평가 등 실시간 상호작용을 가능하게 했다.
• 시스템은 그리스어 언어를 위해 단일어(~700만), 이중어(~9000만), 삼중어(~3억)를 성공적으로 생성하고 공개했다.
• 코퍼스는 총 10TB의 HTML 콘텐츠를 포함한 35만 개의 그리스어 도메인과 11만 2000개의 WARC 파일에서 유도되었다.
• 8코어 시스템에 32GB RAM을 사용해 훈련 과정이 2일이면 완료되어 대규모 그리스어 NLP 훈련의 실현 가능성을 입증했다.