[論文レビュー] Effidit: Your AI Writing Assistant

Shuming Shi, Enbo Zhao+11 more|arXiv (Cornell University)|Aug 3, 2022

Natural Language Processing Techniques被引用数 9

ひとこと要約

Effidit は、テキスト補完（生成型・検索型・フレーズ型）、誤りチェック、テキスト磨き、キーワードから文生成（K2S）、クラウド入力法の5つのコア機能を通じて、テキストの品質と効率を向上させるAI駆動のライティングアシスタントです。K2S生成においてベースラインを上回り、より自然な表現と多様性が得られ、微調整された言語モデルアプローチを用いた人間評価では、中国語タスクにおいて多様性の平均スコアが4.32/5.00、品質の平均スコアが3.57/5.00を記録しました。

ABSTRACT

In this technical report, we introduce Effidit (Efficient and Intelligent Editing), a digital writing assistant that facilitates users to write higher-quality text more efficiently by using artificial intelligence (AI) technologies. Previous writing assistants typically provide the function of error checking (to detect and correct spelling and grammatical errors) and limited text-rewriting functionality. With the emergence of large-scale neural language models, some systems support automatically completing a sentence or a paragraph. In Effidit, we significantly expand the capacities of a writing assistant by providing functions in five categories: text completion, error checking, text polishing, keywords to sentences (K2S), and cloud input methods (cloud IME). In the text completion category, Effidit supports generation-based sentence completion, retrieval-based sentence completion, and phrase completion. In contrast, many other writing assistants so far only provide one or two of the three functions. For text polishing, we have three functions: (context-aware) phrase polishing, sentence paraphrasing, and sentence expansion, whereas many other writing assistants often support one or two functions in this category. The main contents of this report include major modules of Effidit, methods for implementing these modules, and evaluation results of some key methods.

研究の動機と目的

• 基本的な誤りチェックや文の再編集をはるかに超えた、高度なライティングタスクを支援する包括的なAIライティングアシスタントの開発。
• 複数言語における多機能AI支援を通じて、ネイティブおよび非ネイティブユーザーのライティング効率と品質の向上。
• 既存のライティングアシスタントの限界を克服するため、多様で文脈に適した高品質なテキスト生成および補正機能を統合。
• キーワードから文生成（K2S）機能を通じて、最小限の入力でアイデアを表現できる概念的アイディエーションをユーザーに支援。
• 大規模言語モデルを活用したクラウドベースのIMEを導入することで、より豊富でリアルタイムな提案を実現し、入力効率を向上。

提案手法

• Effidit は、入力文のマスクされたセグメントを [blank] トークンに置き換え、推論時に [ans] トークンを用いて欠落部分を予測する統一された言語モデルフレームワークを採用し、テキストインフィルインを実現。
• 30億件の中国語および英語文を用いて、12層のTransformerを備えたGPT-2モデルを訓練。マスクされたシーケンス入力形式を採用することで、エンドツーエンドのテキストインフィルインを可能に。
• K2Sのためのモデルは、[blank] トークンを文脈的に適切なフレーズで埋めることで、意味的に整合的で多様な文を生成し、キーワードの保持と自然さを確保。
• フレーズ補完は、前後両方の文脈を考慮するため、多くのシステムが前件情報のみを用いるのとは異なり、文脈に適した提案を実現。
• 中国語の誤り訂正は、語の置換、挿入、削除のエラーに最適化されており、置換タスクで最先端の性能を示し、挿入／削除タスクでも優れた結果を達成。
• テキスト磨きには、文脈に適したフレーズの最適化、文の言い換え、文の拡張が含まれ、すべて微調整された言語モデルによって駆動。

実験結果

リサーチクエスチョン

• RQ1 ライティングアシスタントを、基本的な誤りチェックや文の再編集をはるかに超えて、より豊富で文脈に適ったライティング機能を支援するにはどうすればよいか？
• RQ2 統一された言語モデルアプローチは、中国語および英語におけるテキストインフィルインの品質と多様性をどの程度向上させられるか？
• RQ3 大規模言語モデルを駆動源とするクラウドベースのIMEは、ローカル入力法に比べて提案の豊富さと関連性で優れていると期待できるか？
• RQ4 検索型K2Sは、生成型およびBERTベースの手法に比べて、自然さ、多様性、キーワードの一貫性においてどの程度優れているか？
• RQ5 文脈に適したフレーズ補完は、ライティング効率およびユーザー満足度にどのような影響を与えるか？

主な発見

• 言語モデルベースのK2S手法は、中国語文のヒューマン評価で多様性の平均スコアが4.32/5.00、品質の平均スコアが3.57/5.00を記録し、検索型およびBERTベースラインを上回りました。
• 英語K2Sにおいても、言語モデルアプローチは多様性スコア4.02/5.00、品質スコア4.28/5.00を達成し、検索型（多様性1.76）およびBERT（多様性2.15）を顕著に上回りました。
• 中国語では、Distinct-1 と Distinct-2 がそれぞれ 0.76 および 0.92 と高く、出力の多様性が顕著に優れています。
• 英語でも、Distinct-1 と Distinct-2 がそれぞれ 0.87 および 0.94 と高く、多言語にわたる堅牢性を示しています。
• 中国語誤り訂正において、同系統のシステムの中で最も優れた性能を示し、特に挿入・削除エラーの処理において第一線の水準に達しました。
• フレーズ補完機能は、前件および後件の両方の文脈を考慮しており、前件のみを用いるシステムに比べ、より正確で関連性の高い提案を実現しています。