[논문 리뷰] SERRANT: a syntactic classifier for English Grammatical Error Types

Leshem Choshen, Matanel Oren외 2명|arXiv (Cornell University)|2021. 04. 06.

Natural Language Processing Techniques참고 문헌 10인용 수 8

한 줄 요약

SERRANT는 영어 문법 오류 유형을 통합하는 구문론적 분류기로, ERRANT의 인간 친화적인 분류 체계를 기본으로 하되, SErCl의 정밀한 형태구문적 주석을 통합함으로써 정확성과 정보성 향상을 도모한다. 특히 형태, 어류 변화, 철자 오류 유형에서 ERRANT 분류 체계의 일관성 결여 문제를 해결함으로써 정확도를 향상시키며, 의미 있는 하위범주를 유지하고 다국어적 정밀도로 극단적인 케이스를 처리한다.

ABSTRACT

SERRANT is a system and code for automatic classification of English grammatical errors that combines SErCl and ERRANT. SERRANT uses ERRANT's annotations when they are informative and those provided by SErCl otherwise.

연구 동기 및 목표

• 기존의 문법 오류 유형 분류 체계에서의 일관성 결여와 정보 부족 문제, 특히 ERRANT의 형태적 오류 및 품사 오류 분류에서의 문제를 해결하기 위해.
• 두 개의 주요 오류 분류 체계인 ERRANT과 SErCl을 하나의 일관된 프레임워크로 통합하여, ERRANT의 가독성은 유지하면서 SErCl의 형태구문적 주석 정밀도를 향상시키기 위해.
• 유니버설 디펜던시(UD) 기반의 언어학적으로 탄탄한 유형으로 모호하거나 너무 광범위한 카테고리(예: 'morph', 'other')를 대체함으로써 오류 유형 분류의 신뢰성을 높이기 위해.
• 기존 데이터셋과 共유 작업과의 후행 호환성을 유지하기 위해 기본적으로 ERRANT 형식을 사용하면서도 더 풍부한 하위분류 및 복합어 오류 처리 기능을 확장하기 위해.

제안 방법

• SERRANT는 인간의 가독성을 위해 기본적으로 ERRANT의 편집 유형 분류 체계를 사용하며, 교체, 누락, 불필요 편집에 대해 각각 R, M, U 접두어를 사용한다.
• ERRANT의 'other' 또는 'morph' 카테고리가 발생할 경우, SERRANT는 UD_l → UD_c로 정의된 SErCl의 형태구문적 오류 유형으로 전환한다. 여기서 UD는 유니버설 디펜던시 주석을 의미한다.
• 어간이 다를 뿐만 아니라 품사가 그대로 유지되는 경우, SERRANT는 형태구문적 변화가 아니라 어휘적 대체임을 나타내기 위해 'WC' 접미어를 추가한다.
• 기존 유형(예: 'verb:tense' 또는 'modal')으로 이미 포괄되지 않는 복합어 편집의 경우, 'MW' 접미어를 사용하여 주석을 한다.
• 대문자 오류의 경우 특수 처리를 적용한다: 비초기 어절이 고유명사로 수정된 경우(예: 'apple' → 'Apple'), SERRANT는 ERRANT의 'orth'가 아닌 SErCl의 'x → propn' 유형을 사용하여 형태구문적 영향을 반영한다.
• 특정 카테고리를 정교화한다: 'verb:form'은 명사화 오류의 경우 'noun → verb'로 대체된다; 'pron → det' 및 'det → pron'은 일반적인 'pron' 또는 'det' 유형 대신 사용된다.

실험 결과

연구 질문

• RQ1 기존의 문법 오류 유형 분류 체계를 어떻게 통합하여 오류 분류의 일관성과 정보성 향상을 도모할 수 있는가?
• RQ2 ERRANT의 모호한 'morph' 및 'other' 카테고리를 SErCl의 형태구문적 주석으로 대체할 경우, 분류의 신뢰성은 어느 정도 향상되는가?
• RQ3 하이브리드 시스템은 ERRANT의 인간 친화적 가독성과 SErCl의 의존성 기반 오류 유형 분류의 언어학적 정밀도를 동시에 유지할 수 있는가?
• RQ4 복합어 또는 어휘적 대체 오류는 어떻게 주석을 해야 정확성과 해석 가능성 양쪽을 유지할 수 있는가?
• RQ5 분석기 오류와 모호한 품사 태그(예: 'propn'을 패러미터로 사용할 경우)는 오류 유형 분류에 어떤 영향을 미치며, 이를 어떻게 완화할 수 있는가?

주요 결과

• SERRANT는 ERRANT의 'morph' 카테고리의 모호성을 제거하기 위해 SErCl의 형태구문적 유형으로 대체함으로써 오류 유형 정밀도를 크게 향상시켰다.
• Intj, Num, Sym, X, Punct와 같은 신뢰성 없는 품사 태그에 대해 SErCl의 주석을 사용함으로써 'other' 카테고리 의존도를 감소시켰으며, 일관성을 유지하기 위해 'propn → propn'을 그대로 유지한다.
• SERRANT는 'WC' 접미어를 도입하여 어휘적 대체(예: 'consume → eat')를 형태구문적 변화와 구분함으로써 더 세밀한 오류 분석이 가능하게 하였다.
• 어근이나 의미에 영향을 주는 대문자 오류(예: 'apple' → 'Apple')의 경우, SERRANT는 'orth'가 아닌 'x → propn'을 사용하여 형태구문적 영향을 반영한다.
• SERRANT는 일반적인 'pron' 또는 'det' 유형 대신 'pron → det' 및 'det → pron' 주석을 사용함으로써 성격 변화 오류의 분류 정확도를 향상시켰다.
• SERRANT는 보조동사(aux)와 동사(verb)를 구분하고, 어간과 형태에 기반해 'verb:tense' 및 'modal' 하위유형을 정확히 식별함으로써 동사 분류를 향상시켰다.