[论文解读] Effidit: Your AI Writing Assistant

Shuming Shi, Enbo Zhao+11 more|arXiv (Cornell University)|Aug 3, 2022

Natural Language Processing Techniques被引用 9

一句话总结

Effidit 是一款基于人工智能的写作助手，通过五大核心功能提升文本质量和效率：文本补全（基于生成、检索和短语）、错误检查、文本润色、关键词转句子（K2S）以及云端输入法。在 K2S 生成方面，其表现优于基线模型，实现了更高的流畅度和多样性，人类评估显示在中文任务中多样性平均得分为 4.32/5.00，质量平均得分为 3.57/5.00，采用微调语言建模方法实现。

ABSTRACT

In this technical report, we introduce Effidit (Efficient and Intelligent Editing), a digital writing assistant that facilitates users to write higher-quality text more efficiently by using artificial intelligence (AI) technologies. Previous writing assistants typically provide the function of error checking (to detect and correct spelling and grammatical errors) and limited text-rewriting functionality. With the emergence of large-scale neural language models, some systems support automatically completing a sentence or a paragraph. In Effidit, we significantly expand the capacities of a writing assistant by providing functions in five categories: text completion, error checking, text polishing, keywords to sentences (K2S), and cloud input methods (cloud IME). In the text completion category, Effidit supports generation-based sentence completion, retrieval-based sentence completion, and phrase completion. In contrast, many other writing assistants so far only provide one or two of the three functions. For text polishing, we have three functions: (context-aware) phrase polishing, sentence paraphrasing, and sentence expansion, whereas many other writing assistants often support one or two functions in this category. The main contents of this report include major modules of Effidit, methods for implementing these modules, and evaluation results of some key methods.

研究动机与目标

• 开发一款全面的 AI 写作助手，超越基础的错误检查和句子重写，支持更高级的写作任务。
• 通过多语言环境下的多功能 AI 协助，提升母语和非母语使用者的写作效率与质量。
• 通过整合多样化、上下文感知且高质量的文本生成与纠错能力，解决现有写作助手的局限性。
• 通过关键词转句子（K2S）功能，支持用户在概念构思阶段，仅凭最少输入表达想法。
• 通过基于云端的 IME 提升输入效率，利用大规模语言模型提供更丰富、实时的输入建议。

提出的方法

• Effidit 采用统一的语言建模框架进行文本填充，将输入句子中的掩码片段替换为 [blank] 标记，并在推理过程中使用 [ans] 标记预测缺失内容。
• 系统在 30 亿条中英文句子上训练了一个包含 12 个 Transformer 编码器层的 GPT-2 模型，采用掩码序列输入格式，实现端到端的文本填充。
• 在 K2S 任务中，模型通过在 [blank] 标记处填充上下文相关的短语，生成语义连贯且多样化的句子，确保关键词保留与语言流畅性。
• 短语补全具有上下文感知能力，同时考虑前缀和后缀上下文，不同于大多数仅使用前缀信息的系统。
• 中文错误纠正针对词语替换、插入和删除错误进行了优化，在替换任务中达到最先进水平，在插入/删除任务中表现更优。
• 文本润色包括上下文感知的短语优化、句子改写和句子扩展，均由微调的语言模型驱动。

实验结果

研究问题

• RQ1 如何将写作助手的功能从基础的错误检查和句子重写扩展到支持更丰富、上下文感知的写作功能？
• RQ2 统一语言建模方法在中英文文本填充任务中，能在多大程度上提升生成质量与多样性？
• RQ3 基于大规模语言模型的云端 IME 是否能在建议丰富度和相关性方面超越本地输入法？
• RQ4 与基于生成和 BERT 的方法相比，基于检索的 K2S 在流畅度、多样性和关键词一致性方面表现如何？
• RQ5 上下文感知的短语补全对写作效率和用户满意度有何影响？

主要发现

• 基于语言建模的 K2S 方法在中文句子的人工评估中，多样性平均得分为 4.32/5.00，质量平均得分为 3.57/5.00，优于检索和 BERT 基线模型。
• 在英文 K2S 任务中，语言建模方法的多样性得分为 4.02/5.00，质量得分为 4.28/5.00，显著优于检索方法（多样性 1.76）和 BERT 方法（多样性 2.15）。
• 在中文文本中，模型的 Distinct-1 和 Distinct-2 分别达到 0.76 和 0.92，表明输出具有较强的多样性。
• 在英文文本中，模型的 Distinct-1 和 Distinct-2 分别达到 0.87 和 0.94，显示出跨语言的稳健性。
• 在中文错误纠正方面，模型表现优异，尤其在处理插入和删除错误方面，处于现有系统中的第一梯队。
• 短语补全功能同时支持前缀和后缀上下文，相比仅依赖前缀的系统，能提供更准确、更相关的建议。