[논문 리뷰] What Generative Artificial Intelligence Means for Terminological Definitions

Antonio San Martín|arXiv (Cornell University)|2024. 02. 25.

linguistics and terminology studiesArts and Humanities인용 수 3

한 줄 요약

이 논문은 생성형 인공지능(Generative AI, GenAI), 특히 ChatGPT가 의미어 정의의 생성과 활용 방식을 어떻게 변화시키는지 조사한다. 이는 기존의 정적 정의를 뛰어넘어 맥락에 민감하고 상호작용적이며 사용자 맞춤형으로 조정 가능한 정의를 가능하게 하여 사용성에서 슈퍼어리어를 이룬다. 논문은 AI 효율성과 인간 전문성의 융합을 통한 AI 보조 의미어학적 작업(AI-assisted terminography)을 제안하며, 정의 생성 속도를 가속화하고, 융통성과 품질을 햖थ다. 그러나 정확성과 신뢰성의 한계를 인정함으로써 인간이 제작한 의미어 자료의 지속적인 가치를 유지한다.

ABSTRACT

This paper examines the impact of Generative Artificial Intelligence (GenAI) tools like ChatGPT on the creation and consumption of terminological definitions. From the terminologist's point of view, the strategic use of GenAI tools can streamline the process of crafting definitions, reducing both time and effort, while potentially enhancing quality. GenAI tools enable AI-assisted terminography, notably post-editing terminography, where the machine produces a definition that the terminologist then corrects or refines. However, the potential of GenAI tools to fulfill all the terminological needs of a user, including term definitions, challenges the very existence of terminological definitions and resources as we know them. Unlike terminological definitions, GenAI tools can describe the knowledge activated by a term in a specific context. However, a main drawback of these tools is that their output can contain errors. For this reason, users requiring reliability will likely still resort to terminological resources for definitions. Nevertheless, with the inevitable integration of AI into terminology work, the distinction between human-created and AI-created content will become increasingly blurred.

연구 동기 및 목표

• 생성형 AI가 의미어 정의의 생성과 소비에 미치는 영향을 분석하며, 특히 전통적인 의미어 자료와의 비교를 포함한다.
• ChatGPT와 같은 GenAI 도구가 의미어학자들이 맥락에 민감하고 융통성 있는 정의를 더 효율적으로 제작하는 데 어떻게 기여할 수 있는지 탐색한다.
• AI 보조 의미어학적 작업이 AI의 효율성과 인간 전문성을 융합하는 새로운 범주로서의 잠재력을 평가한다.
• GenAI의 정확성과 신뢰성에 대한 한계를 특정하고, 정밀도가 요구되는 고위험 응용 분야에서 전통적 의미어 자료가 여전히 필수적인 이유를 이해한다.
• 대규모 언어 모델 시대에 의미어학자의 역할을 재정의하는 AI 보조 의미어학적 작업이 표준이 되는 미래를 제안한다.

제안 방법

• 인지언어학 프레임워크를 사용하여, 용어를 의미 잠재력에 대한 액세스 포인트로 개념화하고, 사전의미(pre-meanings)를 이 잠재력의 맥락에 제한된 부분집합으로 정의한다.
• 특정 텍스트, 이미지 또는 묘사된 상황을 제시하여 ChatGPT가 의미 관련 응답을 유도함으로써, GenAI가 맥락에 특화된 정의를 생성하는 능력을 평가한다.
• GenAI를 위한 구조화된 입력으로서, Sketch Engine과 같은 코퍼스 도구를 활용해 일치선(line)과 단어 스케치(세분화된 의미 스케치 포함)를 추출하는 방법을 제안한다.
• AI가 생성한 정의를 코퍼스 기반 증거로 후속 편집함으로써 내용의 추적 가능성과 정당성을 확보하는 방법을 포함한다.
• 의미어학자들은 ChatGPT를 활용해 반복적 개선을 수행할 것을 권고받는다—AI 피드백을 통해 정의를 평가하고 향상시키며 검증한다.
• 새로운 평가 방법을 제안한다: ChatGPT가 정의에서 용어를 추측할 수 있는지 테스트함으로써 정의의 적합성을 평가하며, 실패 시 수정이 필요함을 시사한다.

실험 결과

연구 질문

• RQ1 ChatGPT와 같은 GenAI 도구가 기존 정적 정의를 뛰어넘어 사용자 맞춤형, 맥락에 특화된 의미어 정의를 얼마나 잘 생성할 수 있는가?
• RQ2 AI 보조 의미어학적 작업은 어떻게 실현되어야 하며, GenAI의 효율성과 인간 전문성의 신뢰성 간의 조화를 어떻게 달성할 수 있는가?
• RQ3 GenAI의 정확성과 일관성에 대한 한계는 무엇이며, 이는 전문 분야에서 장기적으로 AI가 생성한 정의의 타당성에 어떤 영향을 미치는가?
• RQ4 GenAI 도구는 내용 검증, 오류 탐지, 스타일 개선을 포함해 정의 작성 과정을 어떻게 향상시킬 수 있는가?
• RQ5 GenAI가 코퍼스 분 析 도구에 통합될 경우, 어떻게 구조화되고 증거 기반인 융통성 있는 의미어 정의를 효율적으로 생성할 수 있는가?

주요 결과

• ChatGPT는 특정 사용 사례에서 활성화된 의미를 반영하는 맥락에 특화된 정의를 생성할 수 있으며, 이는 전통적 정의에 기록된 사전의미를 초월한다.
• GenAI는 상호작용적이고 사용자 맞춤형 정의 생성을 가능하게 하여, 정적 자료가 제공할 수 없는 후속 질문, 명확화 및 맥락 맞춤 설정을 가능하게 한다.
• 강점이 있음에도 불구하고 GenAI는 사실 오류와 환각 현상 등 신뢰성 문제를 겪으며, 이는 고위험 또는 정밀도가 요구되는 응용 분야에서의 활용을 제한한다.
• AI 보조 의미어학적 작업—인간이 생성한 정의를 GenAI로 후속 편집하고 개선하는 방식—은 생산성을 크게 향상시키고, 특히 융통성 있고 맥락에 민감한 정의의 품질을 향상시킬 수 있다.
• Sketch Engine과 같은 코퍼스 도구와 GenAI의 통합은 일치선과 의미 스케치를 활용한 구조화되고 증거 기반의 정의 생성을 가능하게 하여 추적 가능성과 정당성을 향상시킨다.
• ChatGPT가 정의에서 용어를 역으로 식별할 수 있는 능력은 정의의 적합성을 평가하는 새로운 자동화된 방법을 제공하며, 실패 시 수정이 필요함을 시사한다.