[논문 리뷰] Multidimensional Evaluation for Text Style Transfer Using ChatGPT

Huiyuan Lai, Antonio Toral외 1명|arXiv (Cornell University)|2023. 04. 26.

Topic Modeling인용 수 6

한 줄 요약

이 논문은 대화형 언어모델인 ChatGPT가 텍스트 스타일 전이(TST)에서 스타일 강도, 콘텐츠 유지도, 유창성 등 다차원적 평가를 위해 신뢰할 수 있고, 프롬프트 기반의 zero-shot 평가자로 기능할 수 있는지 조사한다. 정교하게 설계된 프롬프트를 사용할 경우, ChatGPT는 인간 평가와 경쟁 가능한 상관관계를 보이며, 특히 데이터셋 수준에서 기존의 자동 평가 지표들을 능가함을 입증한다. 이는 TST 시스템에 대해 별도의 미세조정 없이도 통합된 평가자로 활용될 잠재력을 보여준다.

ABSTRACT

We investigate the potential of ChatGPT as a multidimensional evaluator for the task of \emph{Text Style Transfer}, alongside, and in comparison to, existing automatic metrics as well as human judgements. We focus on a zero-shot setting, i.e. prompting ChatGPT with specific task instructions, and test its performance on three commonly-used dimensions of text style transfer evaluation: style strength, content preservation, and fluency. We perform a comprehensive correlation analysis for two transfer directions (and overall) at different levels. Compared to existing automatic metrics, ChatGPT achieves competitive correlations with human judgments. These preliminary results are expected to provide a first glimpse into the role of large language models in the multidimensional evaluation of stylized text generation.

연구 동기 및 목표

• ChatGPT가 스타일 전이의 여러 차원에서 신뢰할 수 있고, 프롬프트 기반의 zero-shot 평가자로 기능할 수 있는지 평가하는 것.
• ChatGPT의 평가 성능을 기존의 자동 평가 지표들과 인간 평가 결과와 비교하는 것.
• 다양한 프롬프트 템플릿이 평가의 일관성과 정확성에 미치는 영향을 조사하는 것.
• 특정 작업에 맞게 미세조정 없이도 하나의 대규모 언어모델(LLM)이 TST의 여러 차원을 평가하는 데 가능성이 있는지 탐색하는 것.

제안 방법

• 저자는 TST 출력물을 스타일 강도, 콘텐츠 유지도, 유창성의 세 가지 차원에서 평가하기 위해 작업에 특화된 지시문을 ChatGPT에 제공한다.
• 이전 연구에서 확보한 인간 애너테이션 데이터셋을 활용하여, ChatGPT의 평가 결과와 인간 평가 간의 상관관계 점수를 계산한다.
• 단일 차원 및 다차원 프롬프트를 포함한 다양한 프롬프트 템플릿을 테스트하여 성능에 미치는 영향을 평가한다.
• 표준 지표인 스피어만의 rho를 사용하여 샘플, 시스템, 데이터셋 수준에서 상관관계 분석을 수행한다.
• ROUGE, BERTScore, COMET 등을 포함한 16개의 기존 자동 평가 지표와 ChatGPT의 성능을 비교한다.
• 모든 프롬프트, 코드, 평가 결과는 재현 가능성을 확보하기 위해 공개한다.

실험 결과

연구 질문

• RQ1 ChatGPT는 스타일 전이의 여러 차원에서 신뢰할 수 있고, 프롬프트 기반의 zero-shot 평가자로 기능할 수 있는가?
• RQ2 기존 자동 평가 지표와 비교했을 때, ChatGPT의 인간 평가와의 상관관계는 어떠한가?
• RQ3 어느 프롬프트 템플릿 구성이 ChatGPT의 평가에서 가장 높은 일관성과 정확도를 보이는가?
• RQ4 평가가 가장 어려운 데이터셋 수준에서 ChatGPT는 자동 평가 지표들을 능가하는가?

주요 결과

• ChatGPT는 콘텐츠 유지도, 스타일 강도, 유창성의 세 가지 차원에서 인간 평가와 경쟁 가능한 상관관계를 보이며, 특히 데이터셋 수준에서 뛰어난 성능을 발휘한다.
• 데이터셋 수준에서 18개 평가 사례 중 14개에서 ChatGPT가 테스트한 16개의 자동 평가 지표 전부를 능가한다.
• 단일 차원 프롬프트(한 번에 한 차원씩 평가)는 다차원 프롬프트보다 성능이 뛰어나지만, 시스템 수준의 스타일과 유창성 평가에서는 예외이다.
• GPT-2는 도메인 특화 데이터로 미세조정되었음에도 불구하고 ChatGPT가 더 높은 상관관계를 보이며, zero-shot 프롬프트의 강력함을 입증한다.
• ChatGPT는 악성 콘텐츠 평가를 거부하거나 동일한 출력에 대해 일관되지 않은 점수를 매기는 등의 한계를 보이며, 프롬프트 안정화의 필요성을 시사한다.
• 본 연구는 LLM이 GPT와 같이 TST의 다차원 평가를 위해 별도의 미세조정 없이도 통합 평가자로 활용될 수 있음을 입증하며, 고비용의 인간 애너테이션에 대한 의존도를 줄일 수 있음을 보여준다.