[논문 리뷰] Using ChatGPT as a CAT tool in Easy Language translation

Silvana Deilen, Sergio Hernández Garrido외 2명|arXiv (Cornell University)|2023. 08. 22.

Text Readability and Simplification인용 수 7

한 줄 요약

이 연구는 공공 행정 문서의 독일어 쉬운 언어 버전을 생성하기 위해 ChatGPT를 컴퓨터 지원 번역(CAT) 도구로 활용할 수 있는지 평가한다. 어휘 및 통합적 프롬프팅 전략을 사용하여 저자들은 생성된 텍스트가 원본 텍스트보다 더 간단하지만, 내용의 불완전성 또는 오류로 인해 일반적으로 확립된 쉬운 언어 기준을 충족하지 못함을 발견하였다. 이는 ChatGPT가 전문가의 수정이 필요하며, 독립적인 솔루션보다는 초안 작성 보조 도구로 사용하는 것이 가장 바람직하다는 것을 시사한다.

ABSTRACT

This study sets out to investigate the feasibility of using ChatGPT to translate citizen-oriented administrative texts into German Easy Language, a simplified, controlled language variety that is adapted to the needs of people with reading impairments. We use ChatGPT to translate selected texts from websites of German public authorities using two strategies, i.e. linguistic and holistic. We analyse the quality of the generated texts based on different criteria, such as correctness, readability, and syntactic complexity. The results indicated that the generated texts are easier than the standard texts, but that they still do not fully meet the established Easy Language standards. Additionally, the content is not always rendered correctly.

연구 동기 및 목표

• 대규모 언어 모델인 ChatGPT가 표준 독일어 텍스트를 독일어 쉬운 언어로 효과적으로 번역할 수 있는지 평가하는 것.
• 어휘 수준과 통합적 프롬프팅 전략 간의 효과성 비교를 통해 출력 품질에 미치는 영향을 분석하는 것.
• ChatGPT가 생성한 텍스트가 정확성, 독해도, 문장 구조의 단순성 측면에서 기존의 쉬운 언어 기준을 충족하는지 평가하는 것.
• ChatGPT가 전문적인 쉬운 언어 번역 워크플로우에서 실질적인 도구로 활용될 수 있는 정도를 파악하는 것.

제안 방법

• 연구는 두 가지 프롬프팅 전략을 사용한다: 어휘 수준 프롬프팅(어휘 선택, 문장 구조, 단순화 규칙에 중점을 둠)과 통합적 프롬프팅(맥락과 역할 할당 제공, 예: '쉬운 언어 번역가로 행동하라' 등).
• 원본 텍스트는 독일 공공 행정 웹사이트에서 선정되었으며, 시민을 대상으로 하는 공식 커뮤니케이션을 대표한다.
• 평가에는 정성적 및 정량적 기준이 사용되었으며, 정확성, 독해도, 문장 구조의 복잡성 등이 포함된다.
• 평가에는 독일어 쉬운 언어 기준이 기반으로 하며, 어휘 단순화, 문장 길이, 내용 정확성에 중점을 두었다.
• 저자들은 혼합 방법 접근법을 적용하여 수동 평가와 텍스트 특성 기반 평가를 결합하였다.
• 역할 할당과 맥락 프레임워크는 출력 품질 향상 기법으로 테스트되었다.

실험 결과

연구 질문

• RQ1 ChatGPT가 기존의 품질 기준을 충족하는 독일어 쉬운 언어 번역을 어느 정도 생성할 수 있는가?
• RQ2 통합적 프롬프팅 전략이 어휘 수준 전략보다 더 이해하기 쉬우며 정확한 쉬운 언어 텍스트를 생성하는가?
• RQ3 ChatGPT가 생성한 텍스트의 독해도와 문장 구조의 복잡성은 원본 텍스트와 어떻게 비교되는가?
• RQ4 내용 오류나 누락이 생성된 쉬운 언어 텍스트의 기능적 사용 가능성에 어떤 영향을 미치는가?

주요 결과

• ChatGPT가 생성한 텍스트는 원본 표준 독일어 텍스트보다 독해하기 쉬운 편이지만, 여전히 공식적인 쉬운 언어 기준을 완전히 충족하지 못한다.
• 내용 정확성은 일관되지 않다: 대부분의 정보는 정확히 전달되지만, 핵심 세부 사항이 누락되거나 잘못 표현되어 의미가 왜곡되는 경우가 있다.
• 통합적 프롬프팅 전략—특히 역할 할당(예: '쉬운 언어 번역가로 행동하라')을 통합한 경우—표준 프롬프팅보다 더 적절하고 덜 복잡한 출력을 생성한다.
• 더 나은 프롬프팅으로 개선되었음에도 불구하고, 생성된 텍스트는 여전히 너무 단순화되지 않았고 오류를 포함하고 있어, ChatGPT를 독립적으로 사용하는 것은 전문적인 쉬운 언어 번역에 부적절하다는 것을 시사한다.
• 연구는 ChatGPT가 전문가의 수정이 필요한 초안 작성 보조 도구로 가장 효과적으로 기능하며, 쉬운 언어를 위한 독립적인 CAT 도구로는 부적절하다고 결론 내린다.
• LLM을 이용한 동언어 번역에서 전문적인 수정 능력—오류 탐지, 내용 검증, 독자 맞춤 조정—이 필수적이다.