[論文レビュー] Context-Aware Abbreviation Expansion Using Large Language Models

Shanqing Cai, Subhashini Venugopalan+4 more|arXiv (Cornell University)|May 8, 2022

Assistive Technology in Communication and Mobility被引用数 4

ひとこと要約

本稿では、重度の運動機能障害を有する人々のための高キーストローク節約テキスト入力の実現を目指し、大規模言語モデル（LLMs）を用いた文脈に配慮した省略語展開（AE）システムを提案する。会話の文脈を活用することで、64BパラメータのLLMは、最大10文字の省略語を完全なフレーズに展開する際、70%以上の正確性を達成し、最大77%のキーストローク節約率を実現する。これはゼロコンテキストベースラインを著しく上回り、ノイズのあるデータで微調整した後は、入力ミスに対しても頑健性を示す。

ABSTRACT

Motivated by the need for accelerating text entry in augmentative and alternative communication (AAC) for people with severe motor impairments, we propose a paradigm in which phrases are abbreviated aggressively as primarily word-initial letters. Our approach is to expand the abbreviations into full-phrase options by leveraging conversation context with the power of pretrained large language models (LLMs). Through zero-shot, few-shot, and fine-tuning experiments on four public conversation datasets, we show that for replies to the initial turn of a dialog, an LLM with 64B parameters is able to exactly expand over 70% of phrases with abbreviation length up to 10, leading to an effective keystroke saving rate of up to about 77% on these exact expansions. Including a small amount of context in the form of a single conversation turn more than doubles abbreviation expansion accuracies compared to having no context, an effect that is more pronounced for longer phrases. Additionally, the robustness of models against typo noise can be enhanced through fine-tuning on noisy data.

研究の動機と目的

• 重度の運動機能障害を有する人々のための、ガazesベースのテキスト入力における高い運動的・認知的負担を軽減するため、高キーストローク節約型の省略語表記法を可能とすること。
• 大規模言語モデル（LLMs）が会話文脈を用いて、極めて短縮されたフレーズを正確に展開できるかどうかを調査すること。
• 文脈長、少数ショットプロンプティング、微調整の影響が省略語展開の正確性に与える影響を評価すること。
• LLMベースのAEがタイピングノイズに対してどれほど頑健であるかを評価し、緩和戦略を検討すること。
• リアルタイムAACアプリケーションに適したスケーラブルでオープンボキャブラリーな省略語展開フレームワークの開発

提案手法

• 著者らは、フレーズを初期文字に短縮することで、最大77%のキーストローク節約が可能な高キーストローク節約型の省略語表記法を構築した。
• 会話文脈を保持したまま、3つの公開対話データセットにこの表記法を適用することで、省略語展開用の新しい3つのデータセットを合成した。
• バックボーンモデルとして64BパラメータのLLMを用い、入力は省略語と会話からの文脈ウィンドウ（0〜1ターン）から構成される。
• モデルは候補となる展開を生成し、文字列照合ヒューリスティックを用いて、省略語のパターンに一致するもののみを保持するフィルタリング処理を行う。
• 性能評価は、ゼロショットプロンプティング、少々ショットプロンプティング、合成データセットでの微調整を用いて実施した。
• ノイズ耐性をテストするため、省略語にランダムな文字置換を導入してタイピングノイズをシミュレートした。ノイズデータで微調整することで、誤り許容性が向上した。

実験結果

リサーチクエスチョン

• RQ1 会話文脈が提供された場合、大規模言語モデル（LLMs）は、初期文字1〜10文字程度の極めて短縮されたフレーズ（例：1–10 initial letters）を完全なフレーズに正確に展開できるか？
• RQ2 1つの前回会話ターンを含めることで、文脈なし状態と比較して省略語展開の正確性はどのように向上するか？
• RQ3 合成されたノイズあり省略語で微調整されたLLMは、実世界のAAC利用におけるタイピングミスに対して、より頑健になるか？
• RQ4 ゼロショット、少々ショット、微調整済みプロンプティング戦略は、異なる対話文脈において、展開正確性の観点でどのように比較されるか？
• RQ5 長めのフレーズや頻度の低いフレーズでは、モデルの性能がどの程度低下するか。また、文脈はその低下を緩和できるか？

主な発見

• 会話の最初のターンに対する返信において、64BパラメータのLLMは、1つの前回会話ターンを提供された場合、70%以上の省略語展開正確性を達成し、文脈なし状態と比較して正確性が2倍以上に向上する。
• 正しく展開されたフレーズに対して、キーストローク節約率（KSR）は最大77%に達し、LLMを用いた高KSRテキスト入力の実現可能性を示している。
• 1つの会話ターンを含めることで、文脈なし状態と比較して展開正確性が200%以上向上し、特に長いフレーズに対してその効果が顕著である。
• 合成されたタイポデータでモデルを微調整することで、タイピングノイズに対する耐性が著しく向上し、ノイズあり省略語状況での誤り率が低下する。
• 微調整済みのLLMは、評価された3つの対話データセットすべてで、ゼロショットおよび少々ショットベースラインを上回る最先端の性能を達成している。
• 十分な文脈が提供された場合、希少または長いフレーズに対してもモデルの性能は安定しており、文脈がオープンボキャブラリーな省略語展開における曖昧さを効果的に低減していることが示唆される。