[論文レビュー] Flesch or Fumble? Evaluating Readability Standard Alignment of Instruction-Tuned Language Models

Joseph Marvin Imperial, Harish Tayyar Madabushi|arXiv (Cornell University)|Sep 11, 2023

Text Readability and Simplification被引用数 5

ひとこと要約

本稿は、指示微調整済み言語モデルが物語の生成または簡素化を行う際、Flesch-Kincaid Grade Level (FKGL) や Common European Framework of Reference (CEFR) といったリーダビリティ基準とどの程度整合しているかを評価する。標準化されたプロンプトを用いてターゲットのリーダビリティ水準を指定した結果、BLOOMZ や FlanT5 といったオープンソースモデルが、ChatGPT のようなクローズドソースモデルよりも、指定されたリーダビリティ基準に正確に一致するテキストを生成する能力に優れていることが判明した。これは、高度な指示微調整がなされているにもかかわらず、モデル間で顕著な整合性の差が生じていることを示している。

ABSTRACT

Readability metrics and standards such as Flesch Kincaid Grade Level (FKGL) and the Common European Framework of Reference for Languages (CEFR) exist to guide teachers and educators to properly assess the complexity of educational materials before administering them for classroom use. In this study, we select a diverse set of open and closed-source instruction-tuned language models and investigate their performances in writing story completions and simplifying narratives--tasks that teachers perform--using standard-guided prompts controlling text readability. Our extensive findings provide empirical proof of how globally recognized models like ChatGPT may be considered less effective and may require more refined prompts for these generative tasks compared to other open-sourced models such as BLOOMZ and FlanT5--which have shown promising results.

研究の動機と目的

• 指示微調整済み言語モデルが、Flesch-Kincaid Grade Level (FKGL) や Common European Framework of Reference (CEFR) といった既存のリーダビリティ基準に従って、正確にテキストを生成または簡素化できるかどうかを評価すること。
• 標準化されたプロンプトを用いて、オープンソースおよびクローズドソースモデルの両方がリーダビリティ仕様にどの程度準拠しているかを評価すること。
• ChatGPT のような主流のモデルが、専門家が定義したリーダビリティフレームワークを出力に反映しているかどうかのギャップを特定すること。
• 物語完了や物語の簡素化といった教育的コンテンツ生成タスクにおけるモデルの能力を、実証的かつ定量的な証拠で提示すること。

提案手法

• 本研究では、Llama 2、ChatGPT、FlanT5、BLOOMZ、Dolly、LongForm といった多様なオープンソースおよびクローズドソースの指示微調整済み LLM を使用する。
• 標準化されたプロンプトを設計し、FKGL および CEFR フレームワークを用いてターゲットのリーダビリティ水準を明示的に指定する。例：「A2 CEFR レベルの学習者向けに簡素化してください」や「4年生レベルで書く」。
• モデルは、物語完了と物語の簡素化という2つのタスクで評価され、元の物語を共有するベンチマークコーパスを用いる。
• 自動化されたメトリクスと定性的分析を用いて、生成された出力が指定されたリーダビリティ水準とどの程度整合しているかを評価する。
• リーダビリティスコアの定量的比較と、文構造の複雑さや語彙の制御といった言語的特徴の定性的評価を含む。
• 本研究では、再現可能性と評価の透明性を確保するため、公開済みのコードとデータを活用する。

(a) No specifications.

実験結果

リサーチクエスチョン

• RQ1 指示微調整済み LLM は、FKGL や CEFR で定義された指定されたリーダビリティ水準にどの程度正確にテキストを生成できるか？
• RQ2 BLOOMZ や FlanT5 といったオープンソースモデルは、ChatGPT のようなクローズドソースモデルと比較して、リーダビリティ基準との整合性においてどの程度優れているか？
• RQ3 強い指示従従能力を持つモデルですら、出力においてドメイン特化のリーダビリティ基準を内部化または反映できていない場合があるか？
• RQ4 モデルアーキテクチャーやトレーニングデータは、特にプロンプトでターゲット水準が明示的に定義されている場合、リーダビリティ整合性にどの程度影響を与えるか？

主な発見

• ChatGPT は強力な指示従従能力を有するが、BLOOMZ や FlanT5 のようなオープンソースモデルと比較して、指定されたリーダビリティ水準との整合性が低かった。
• BLOOMZ と FlanT5 は、A2 CEFR レベルに適合するように物語を簡素化する際に優れたパフォーマンスを示し、必要な単純化された文構造と制御された語彙を生成した。
• Llama 2 と LongForm は、明示的に簡素化を指示されても、語彙的および構文的複雑さが高く、しばしばターゲットのリーダビリティ水準を超えていた。
• Dolly および他のモデルは整合性に一貫性がなく、時としてあまりに単純化されすぎたり、元の物語構造から逸脱した出力を生成していた。
• 本研究では、ChatGPT のような高度なモデルですら、妥当なリーダビリティ整合性を達成するためには、より洗練されたプロンプトが必要であることが判明した。これは、リーダビリティ基準が十分に内部化されていないことを示唆している。
• 結果から、指示微調整だけでは、専門家が定義したリーダビリティフレームワークとの整合性を保証できないことが示唆され、教育的応用において、特定のファインチューニングやリtrieval-augmented generation が求められることが明らかになった。

(b) Mentions specific grade level.