[논문 리뷰] Flesch or Fumble? Evaluating Readability Standard Alignment of Instruction-Tuned Language Models

Joseph Marvin Imperial, Harish Tayyar Madabushi|arXiv (Cornell University)|2023. 09. 11.

Text Readability and Simplification인용 수 5

한 줄 요약

이 논문은 지침에 맞춰 튜닝된 언어 모델이 서사 텍스트 생성 또는 단순화 시 Flesch-Kincaid Grade Level (FKGL) 및 Common European Framework of Reference (CEFR)와 같은 읽기 용이성 기준과 얼마나 잘 일치하는지 평가한다. 표준화된 프롬프트를 사용해 목표 읽기 용이성 수준을 명시함으로써, 연구는 오픈소스 모델인 BLOOMZ와 FlanT5가 ChatGPT와 같은 비공개 모델보다 지정된 읽기 용이성 기준을 정확히 구현하는 데서 뛰어난 성능을 보임을 발견한다. 이는 고도로 지침에 맞춰 튜닝된 모델임에도 불구하고 읽기 용이성 기준에 대한 일치도에 상당한 격차가 있음을 드러낸다.

ABSTRACT

Readability metrics and standards such as Flesch Kincaid Grade Level (FKGL) and the Common European Framework of Reference for Languages (CEFR) exist to guide teachers and educators to properly assess the complexity of educational materials before administering them for classroom use. In this study, we select a diverse set of open and closed-source instruction-tuned language models and investigate their performances in writing story completions and simplifying narratives--tasks that teachers perform--using standard-guided prompts controlling text readability. Our extensive findings provide empirical proof of how globally recognized models like ChatGPT may be considered less effective and may require more refined prompts for these generative tasks compared to other open-sourced models such as BLOOMZ and FlanT5--which have shown promising results.

연구 동기 및 목표

• 지침에 맞춰 튜닝된 언어 모델이 Flesch-Kincaid Grade Level (FKGL) 및 Common European Framework of Reference (CEFR)와 같은 기존의 읽기 용이성 기준에 따라 텍스트를 정확히 생성하거나 단순화할 수 있는지 평가하는 것.
• 표준화된 프롬프트를 통해 오픈소스 및 비공개 모델의 읽기 용이성 사양 준수 능력을 평가하는 것.
• ChatGPT와 같은 주류 모델이 전문가가 정의한 읽기 용이성 프레임워크를 출력에서 얼마나 잘 반영하고 있는지에 대한 격차를 밝혀내는 것.
• 스토리 완성 및 서사 단순화와 같은 교육적 콘텐츠 생성 과제에서 모델 능력에 대한 실증적이고 정량적인 증거를 제공하는 것.

제안 방법

• 연구는 Llama 2, ChatGPT, FlanT5, BLOOMZ, Dolly, LongForm 등 다양한 오픈소스 및 비공개 모델을 지침에 맞춰 튜닝한 언어 모델을 대상으로 한다.
• 표준화된 프롬프트를 설계하여 FKGL 및 CEFR 프레임워크를 사용해 목표 읽기 용이성 수준을 명시한다. 예를 들어 'A2 CEFR 수준 학습자를 위해 단순화하라' 또는 '4학년 수준으로 작성하라'와 같은 지시이다.
• 모델들은 공통의 벤치마크 코퍼스를 사용해 원본 서사 텍스트를 바탕으로 두 가지 과제인 스토리 완성과 서사 단순화에 대해 평가된다.
• 자동화된 메트릭과 정성적 분석을 통해 생성된 출력이 지정된 읽기 용이성 수준과 얼마나 일치하는지 평가된다.
• 읽기 용이성 점수의 정량적 비교와 문장 복잡도, 어휘 제어 등의 언어적 특징에 대한 정성적 평가가 포함된다.
• 연구는 재현 가능성과 평가 투명성을 확보하기 위해 공개된 코드와 데이터를 활용한다.

(a) No specifications.

실험 결과

연구 질문

• RQ1 지침에 맞춰 튜닝된 언어 모델이 FKGL 및 CEFR에 의해 정의된 특정 읽기 용이성 수준에 얼마나 잘 맞춰 텍스트를 생성할 수 있는가?
• RQ2 BLOOMZ와 FlanT5와 같은 오픈소스 모델은 ChatGPT와 같은 비공개 모델에 비해 읽기 용이성 기준 준수 능력에서 얼마나 뛰어나게 나타나는가?
• RQ3 강력한 지시 준수 능력을 지닌 모델들이라도 여전히 도메인 특화된 읽기 용이성 기준을 내부화하거나 출력에 반영하지 못하는가?
• RQ4 특히 목표 수준을 명시적으로 프롬프트로 정의할 경우, 모델 아키텍처와 훈련 데이터가 읽기 용이성 일치도에 어떤 역할을 하는가?

주요 결과

• 지시 준수 능력이 뛰어난 ChatGPT는 오픈소스 모델인 BLOOMZ와 FlanT5에 비해 지정된 읽기 용이성 수준과의 일치도가 떨어지는 출력을 생성했다.
• BLOOMZ와 FlanT5는 A2 CEFR 수준에 맞춰 서사를 단순화하는 데서 뛰어난 성능을 보였으며, 요구된 대로 더 단순한 문장 구조와 어휘 제어를 구현했다.
• Llama 2와 LongForm은 어휘적 및 문법적 복잡도가 높아, 명시적으로 단순화를 지시받았음에도 불구하고 목표 읽기 용이성 수준을 초과하는 경향이 있었다.
• Dolly 및 기타 모델들은 일관성 없는 일치도를 보였으며, 때로는 너무 단순하거나 원본 서사 텍스트의 구조에서 벗어난 내용을 생성했다.
• 연구는 조건이 철저히 정의된 프롬프트를 사용함에도 불구하고 ChatGPT와 같은 고급 모델이 적절한 읽기 용이성 일치도를 달성하기 위해 더 정교한 프롬프트 조정이 필요하다는 점을 발견했다. 이는 읽기 용이성 기준에 대한 내재화에 격차가 있음을 시사한다.
• 결과적으로 지침 튜닝만으로도 전문가가 정의한 읽기 용이성 프레임워크에 대한 일치도를 보장할 수 없으며, 교육적 응용 분야에서는 타겟드된 피니팅 또는 리트리ieval 증강 생성이 필요하다는 점을 강조한다.

(b) Mentions specific grade level.