[논문 리뷰] Effidit: Your AI Writing Assistant

Shuming Shi, Enbo Zhao외 11명|arXiv (Cornell University)|2022. 08. 03.

Natural Language Processing Techniques인용 수 9

한 줄 요약

Effidit는 텍스트 완성(생성 기반, 검색 기반, 어휘 기반), 오류 검사, 텍스트 다듬기, 키워드에서 문장으로(K2S), 클라우드 기반 입력 방법을 포함한 다섯 가지 핵심 기능을 통해 텍스트 품질과 효율성을 향상시키는 AI 기반 글쓰기 보조도구입니다. K2S 생성에서 베이스라인을 능가하며, 자연어 품질과 다양성이 높아, 미세조정된 언어 모델링 접근 방식을 통해 중국어 작업에서 인간 평가 결과 다양성 평균 4.32/5.00, 품질 평균 3.57/5.00을 기록했습니다.

ABSTRACT

In this technical report, we introduce Effidit (Efficient and Intelligent Editing), a digital writing assistant that facilitates users to write higher-quality text more efficiently by using artificial intelligence (AI) technologies. Previous writing assistants typically provide the function of error checking (to detect and correct spelling and grammatical errors) and limited text-rewriting functionality. With the emergence of large-scale neural language models, some systems support automatically completing a sentence or a paragraph. In Effidit, we significantly expand the capacities of a writing assistant by providing functions in five categories: text completion, error checking, text polishing, keywords to sentences (K2S), and cloud input methods (cloud IME). In the text completion category, Effidit supports generation-based sentence completion, retrieval-based sentence completion, and phrase completion. In contrast, many other writing assistants so far only provide one or two of the three functions. For text polishing, we have three functions: (context-aware) phrase polishing, sentence paraphrasing, and sentence expansion, whereas many other writing assistants often support one or two functions in this category. The main contents of this report include major modules of Effidit, methods for implementing these modules, and evaluation results of some key methods.

연구 동기 및 목표

• 기본적인 오류 검사와 문장 재작성 기능을 넘어서 고도화된 글쓰기 작업을 지원하는 종합적인 AI 글쓰기 보조도구를 개발하는 것.
• 다양한 언어에서 다기능 AI 보조 기능을 통해 모국어 및 비모국어 사용자 모두의 글쓰기 효율성과 품질을 향상시키는 것.
• 기존 글쓰기 보조도구의 한계를 보완하기 위해 다양한 맥락 인식 및 고품질 텍스트 생성 및 수정 기능을 통합하는 것.
• 최소한의 입력으로도 아이디어를 표현할 수 있도록 키워드에서 문장으로(K2S) 기능을 통해 개념적 아이디어 도출을 지원하는 것.
• 대규모 언어 모델을 활용해 더 풍부하고 실시간으로 제안하는 클라우드 기반 IME를 통해 입력 효율성을 향상시키는 것.

제안 방법

• Effidit는 마스크된 문장 조각을 [blank] 토큰으로 대체하고 추론 시 [ans] 토큰을 사용해 누락된 부분을 예측하는 통합 언어 모델링 프레임워크를 활용해 텍스트 보완을 수행합니다.
• 30억 개의 중국어 및 영어 문장 데이터를 기반으로 12개의 Transformer 레이어를 가진 GPT-2 모델을 훈련시켰으며, 마스크된 시퀀스 입력 형식을 사용해 엔드 투 엔드 텍스트 보완을 가능하게 했습니다.
• K2S 기능은 [blank] 토큰에 맥락에 부합하는 어휘를 채워 의미적으로 일관되고 다양한 문장을 생성함으로써 키워드 유지 및 어법의 자연스러움을 확보합니다.
• 어휘 보완은 대부분의 시스템이 전후缀 정보만 고려하는 것과 달리, 접두사와 접미사 맥락을 모두 고려해 맥락 인식이 뛰어납니다.
• 중국어 오류 수정은 어순 변경, 삽입, 삭제 오류에 최적화되어 있으며, 변경 오류에서는 최신 기술 수준의 성능을 보이고, 삽입/삭제 오류 처리에서도 뛰어난 성능을 기록했습니다.
• 텍스트 다듬기 기능은 맥락 인식 기반 어휘 정제, 문장 다듬기, 문장 확장 기능을 포함하며, 모두 미세조정된 언어 모델에 의해 구동됩니다.

실험 결과

연구 질문

• RQ1 글쓰기 보조도구를 기본적인 오류 검사와 문장 재작성 기능을 넘어서 더 풍부하고 맥락 인식 기반의 글쓰기 기능을 지원하도록 어떻게 확장할 수 있을까?
• RQ2 통합 언어 모델링 접근 방식은 중국어 및 영어 모두에서 텍스트 보완의 품질과 다양성에 얼마나 기여할 수 있을까?
• RQ3 대규모 언어 모델을 기반으로 한 클라우드 기반 IME는 로컬 입력 방법에 비해 제안의 풍부성과 관련성에서 뛰어난 성능을 보일 수 있을까?
• RQ4 검색 기반 K2S는 생성 기반 및 BERT 기반 방법에 비해 자연어 어법, 다양성, 키워드 일관성 측면에서 어떻게 비교될 수 있을까?
• RQ5 맥락 인식 기반 어휘 보완은 글쓰기 효율성과 사용자 만족도에 어떤 영향을 미칠까?

주요 결과

• 언어 모델 기반 K2S 방법은 중국어 문장에서 인간 평가 결과 다양성 평균 4.32/5.00, 품질 평균 3.57/5.00을 기록하며, 검색 및 BERT 기반 베이스라인을 능가했습니다.
• 영어 K2S에서 언어 모델링 접근 방식은 다양성 평균 4.02/5.00, 품질 평균 4.28/5.00를 기록했으며, 검색 기반(다양성 1.76) 및 BERT 기반(다양성 2.15)에 비해 뚜렷한 우월성을 보였습니다.
• 중국어에서 모델은 Distinct-1과 Distinct-2 각각 0.76과 0.92의 높은 다양성 지수를 기록해 강력한 출력 다양성을 보였습니다.
• 영어에서는 Distinct-1과 Distinct-2 각각 0.87과 0.94를 기록해 다국어 간 우수한 성능 안정성을 입증했습니다.
• 중국어 오류 수정에서 뛰어난 성능을 보였으며, 특히 삽입 및 삭제 오류 처리에서 기존 시스템 중 최상위 수준의 성능을 기록했습니다.
• 어휘 보완 기능은 접두사뿐 아니라 접미사 맥락까지 고려해, 접두사 전용 시스템보다 더 정확하고 관련성 있는 제안을 가능하게 했습니다.