[논문 리뷰] GitHub Typo Corpus: A Large-Scale Multilingual Dataset of Misspellings and Grammatical Errors

Masato Hagiwara, Masato Mita|arXiv (Cornell University)|2019. 11. 28.

Natural Language Processing Techniques참고 문헌 25인용 수 17

한 줄 요약

이 논문은 GitHub 커밋에서 수집한 15개 이상의 언어를 포함해 총 35만 건 이상의 오타 수정 사례와 6,400만 자의 대규모 다국어 데이터셋인 GitHub Typo Corpus를 소개한다. 간단한 로지스틱 회귀 분류기(세 가지 특징 사용)를 통해 진짜 오타 수정 사례와 의미적 수정 사례를 구분하는 데 F1 점수가 90%에 도달했으며, 이는 기존의 철자 검사기가 빈번히 낮은 성능(≈F1 0.5)을 보임을 시사함으로써, 본 데이터셋이 철자 및 문법 오류 보정 연구를 위한 풍부하고 현실적인 기준이 됨을 입증한다.

ABSTRACT

The lack of large-scale datasets has been a major hindrance to the development of NLP tasks such as spelling correction and grammatical error correction (GEC). As a complementary new resource for these tasks, we present the GitHub Typo Corpus, a large-scale, multilingual dataset of misspellings and grammatical errors along with their corrections harvested from GitHub, a large and popular platform for hosting and sharing git repositories. The dataset, which we have made publicly available, contains more than 350k edits and 65M characters in more than 15 languages, making it the largest dataset of misspellings to date. We also describe our process for filtering true typo edits based on learned classifiers on a small annotated subset, and demonstrate that typo edits can be identified with F1 ~ 0.9 using a very simple classifier with only three features. The detailed analyses of the dataset show that existing spelling correctors merely achieve an F-measure of approx. 0.5, suggesting that the dataset serves as a new, rich source of spelling errors that complement existing datasets.

연구 동기 및 목표

• 자연어처리(NLP) 분야에서 철자 보정 및 문법 오류 보정(GEC)을 위한 대규모이고 현실적인 데이터셋의 부족을 해결하기 위해.
• 위키백과와 같은 합성 또는 노이즈가 많은 데이터셋(비어 있는 수정, 악성 편집 포함)의 한계를 극복하기 위해.
• 실제 소프트웨어 개발 환경에서 진짜 오타 수정 사례를 식별할 수 있는 확장 가능한 방법을 개발하기 위해.
• 기존 자원들과 보완되며 자연스러운 인간의 오류 패턴을 반영하는 공개 가능한 고품질의 다국어 데이터셋을 만들기 위해.
• 기존의 철자 검사기가 실제 세계의 오류를 포함한 대규모 현실 기반 데이터셋에서 어떻게 성능을 발휘하는지 평가하기 위해.

제안 방법

• 커밋 메타데이터와 커밋 메시지를 활용해 GitHub 커밋 이력에서 오타 수정 사례를 수집함.
• 1,000건의 수정 사례로 구성된 소규모 주석 처리된 서브셋을 이용해 비언어적 수정 사례(예: 코드 변경)를 필터링함.
• 수정 길이, 수정 유형, 수정 위치의 세 가지 특징만을 사용한 로지스틱 회귀 분류기를 훈련하여 오타 수정 사례와 의미적 수정 사례를 구분함.
• 보류된 테스트 세트에 대해 훈련된 분류기를 적용하여 진짜 오타 수정 사례 식별에서 F1 점수 약 0.9를 달성함.
• ERRANT 툴킷을 사용해 수정 유형을 분석하여 오류를 철자, 철자 오류, 문장 부호, 문법 오류로 분류함.
• 기존의 철자 검사기(Aspell 및 Enchant)를 데이터셋에 적용해 실제 오류에서의 성능을 평가함.

실험 결과

연구 질문

• RQ1 세 가지 특징만을 사용한 단순한 분류기가 GitHub 커밋 이력에서 진짜 오타 수정 사례와 의미적 수정 사례를 효과적으로 구분할 수 있는가?
• RQ2 실제 소프트웨어 개발 환경에서의 철자 및 문법 오류 분포는 합성 또는 위키백과 기반 데이터셋과 어떻게 다를까?
• RQ3 기존 오픈소스 철자 검사기(예: Aspell, Enchant)가 대규모 현실 기반 오타 데이터셋에서 얼마나 높은 성능을 보이는가?
• RQ4 GitHub Typo Corpus는 다국어 및 코드 혼합 텍스트를 포함해 다양한 언어적 패턴을 얼마나 잘 반영하는가?
• RQ5 현재의 철자 검사기가 포착하지 못하는 오류 패턴이 이 데이터셋을 통해 드러나며, 이는 보다 향상된 보정 모델 개발의 필요성을 시사하는가?

주요 결과

• GitHub Typo Corpus는 15개 이상의 언어에서 총 35만 건 이상의 오타 수정 사례와 6,400만 자를 포함하며, 현재까지 가장 대규모의 다국어 오타 데이터셋임.
• 세 가지 특징만을 사용한 단순한 로지스틱 회귀 분류기가 진짜 오타 수정 사례 식별에서 약 0.9의 F1 점수를 기록함.
• Aspell 및 Enchant와 같은 기존 철자 검사기는 이 데이터셋에서 약 0.5의 F1 측정치를 기록함으로써 향상 여지가 크다는 점을 시사함.
• 이 데이터셋은 철자, 철자 오류, 문장 부호, 문법 오류 등 다양한 오류 유형을 포함하며, 중국어 및 일본어와 같은 비영어 언어에서 영어 단어가 혼합된 사례도 다수 포함됨.
• 일반적인 원자적 수정은 간단한 삽입 및 삭제(예: 's' 추가 또는 'e' 제거)이며, 중국어 및 일본어에서 관사 오용 등의 문법 오류도 빈번히 발생함.
• 많은 오류가 코드 관련 용어(예: 'Gemfile', 'GB-18030')에서 발생함을 확인하여, 실제 오류가 종종 기술어와 다국어 혼합 환경을 포함한다는 점을 시사함.