[논문 리뷰] Choosing the Right Word: Using Bidirectional LSTM Tagger for Writing Support Systems

Victor Makarenkov, Lior Rokach외 1명|arXiv (Cornell University)|2019. 01. 08.

Topic Modeling참고 문헌 38인용 수 4

한 줄 요약

이 논문은 영어를 모국어로 하지 않는 학습자(ESL 학습자)를 대상으로 한 글쓰기 지원 시스템에서 자동 단어 선택 보조 기능을 위한 이방향 LSTM 태거를 제안한다. 수작업 레이블링 없이 대규모 비라벨 텍스트 코퍼스를 활용하여 문맥적으로 적절한 단어 교체를 학습하며, 도메인 특화(과학적 글쓰기) 및 일반 목적 글쓰기 작업 모두에서 최신 기술(SOTA)을 능가하는 성능을 보인다. 주요 기여 사항으로는 새로운 비지도 학습 접근법과 공개된 코드, 모델, ESL 테스트 세트가 있다.

ABSTRACT

Scientific writing is difficult. It is even harder for those for whom English is a second language (ESL learners). Scholars around the world spend a significant amount of time and resources proofreading their work before submitting it for review or publication. In this paper we present a novel machine learning based application for proper word choice task. Proper word choice is a generalization the lexical substitution (LS) and grammatical error correction (GEC) tasks. We demonstrate and evaluate the usefulness of applying bidirectional Long Short Term Memory (LSTM) tagger, for this task. While state-of-the-art grammatical error correction uses error-specific classifiers and machine translation methods, we demonstrate an unsupervised method that is based solely on a high quality text corpus and does not require manually annotated data. We use a bidirectional Recurrent Neural Network (RNN) with LSTM for learning the proper word choice based on a word's sentential context. We demonstrate and evaluate our application on both a domain-specific (scientific), writing task and a general-purpose writing task. We show that our domain-specific and general-purpose models outperform state-of-the-art general context learning. As an additional contribution of this research, we also share our code, pre-trained models, and a new ESL learner test set with the research community.

연구 동기 및 목표

• 글쓰기에서 적절한 단어 선택 문제를 해결함으로써, 문법 오류와 어휘 교체에 어려움을 겪는 ESL 학습자들을 돕기 위함.
• 문법 오류 수정(GEC)과 어휘 교체(LS) 작업을 모두 통합적으로 처리할 수 있는 비지도 학습 모델을 개발하기 위함.
• 수작업 레이블링된 학습 데이터에 의존하지 않아, 고비용 인간 레이블링 없이도 확장 가능한 배포가 가능하도록 하기 위함.
• 언어적 패턴을 기반으로 맥락적으로 정확한 단어 교체를 제안하는 실용적인 실세계 글쓰기 지원 도구를 구축하기 위함.
• NLP 연구 공동체에 새로운 실질적인 ESL 학습자 테스트 세트, 미리 학습된 모델, 오픈소스 코드를 기여하기 위함.

제안 방법

• 대규모 단일 언어 텍스트 코퍼스에서 이중 방향 장기 단기 기억(LSTM) 네트워크를 학습하여 단어의 맥락적 표현을 학습함.
• 모델은 주어진 문장 맥락에서 가장 가능성이 높은 올바른 단어를 예측하며, 단어 선택 문제를 태깅 문제로 간주함.
• 모델는 인간이 레이블링한 오류 또는 교체 레이블이 필요 없는, 고품질의 비라벨 텍스트 데이터만을 사용함.
• 모델는 두 가지 설정에서 미세조정 및 평가됨: 도메인 특화 과학적 글쓰기 코퍼스와 일반 목적 코퍼스(COCA).
• 각 마스킹된 단어에 대해 모델의 어휘에 대한 예측 확률 분포를 기반으로 단어 교체 제안을 생성함.
• 평가에서는 인간이 편집한 테스트 세트를 사용하여 평균 역수 순위(MRR)를 측정하여 제안된 수정 사항의 순위 품질을 평가함.

실험 결과

연구 질문

• RQ1 단일 비지도 이중 방향 LSTM 모델이 단어 선택 문제에서 문법 오류 수정(GEC)과 어휘 교체(LS) 작업을 효과적으로 동시에 처리할 수 있는가?
• RQ2 일반적이고 도메인 특화 글쓰기 모두에서 최신 기술(SOTA)의 지도 학습 기반 GEC 및 LS 시스템과 비교해 모델 성능은 어떻게 되는가?
• RQ3 과학적 글쓰기와 일반 목적 영어 사이의 다양한 글쓰기 스타일 간에 모델이 얼마나 잘 일반화되는가?
• RQ4 원문 문장에 미묘한 병렬어(collocation)나 어형 오류가 있을 경우, 모델이 정확한 단어를 얼마나 효과적으로 제안하는가?
• RQ5 모델이 인간 레이블링된 학습 데이터 없이도 경쟁 가능한 성능을 달성할 수 있는가?

주요 결과

• 도메인 특화 모델은 복합 정답 목록 테스트 세트에서 MRR 0.61을 기록하여 단일 정답 선택 모델의 하한선을 크게 상회함.
• 일반 목적 모델은 교차 테스트 세트에서 MRR 0.49를 기록하여 다양한 단어 선택 작업에서 뛰어난 성능을 보임.
• 수작업으로 수집한 ESL 테스트 세트에서 도메인 특화 모델은 MRR 0.27을 기록하여 실세계 글쓰기 상황에서의 실용성을 입증함.
• 과학적 글쓰기 및 일반 목적 글쓰기 평가 모두에서 최신 기술 기반의 맥락 학습 모델을 능가함.
• 어순, 어형, 관사 사용 오류 등 다양한 오류 유형을 오류 유형 전용 분류기 없이도 견고하게 처리함.
• 저자들은 새로운 실질적인 ESL 학습자 테스트 세트, 미리 학습된 모델, 코드를 성공적으로 기여하여 재현 가능성과 향후 연구를 가능하게 함.