[논문 리뷰] Emergence of a phonological bias in ChatGPT

Juan Manuel de Toro|arXiv (Cornell University)|2023. 05. 25.

Topic Modeling인용 수 5

한 줄 요약

이 논문은 오픈AI의 챗지피티가 인간의 언어 처리 방식과 유사하게 자음 우선성이라는 청각적 편향을 보임을 입증한다. 자음이 모음보다 단어 식별에서 우선시되는 방식으로, 인간의 언어 처리 방식과 유사하다. 인간 유아와의 학습 메커니즘 차이에도 불구하고, 영어와 스페인어와 같은 언어들에서 이 편향이 나타나며, 이는 대규모 언어 모델에서 공통된 인지 유사 패턴이 존재함을 시사한다.

ABSTRACT

Current large language models, such as OpenAI's ChatGPT, have captured the public's attention because how remarkable they are in the use of language. Here, I demonstrate that ChatGPT displays phonological biases that are a hallmark of human language processing. More concretely, just like humans, ChatGPT has a consonant bias. That is, the chatbot has a tendency to use consonants over vowels to identify words. This is observed across languages that differ in their relative distribution of consonants and vowels such as English and Spanish. Despite the differences in how current artificial intelligence language models are trained to process linguistic stimuli and how human infants acquire language, such training seems to be enough for the emergence of a phonological bias in ChatGPT

연구 동기 및 목표

• 대규모 언어 모델인 챗지피티가 인간 언어 처리에서 관찰되는 청각적 편향과 유사한 편향을 보이는지 조사하는 것.
• 인공 모델과 인간 유아 간 학습 메커니즘의 근본적 차이에도 불구하고 이러한 편향이 나타나는지 확인하는 것.
• 영어와 스페인어처럼 자음-모음 분포가 다른 언어들 간에 이러한 편향이 일관되게 나타나는지 조사하는 것.
• 이러한 편향의 발생이 신경망의 순서 모델링에서 기반하는 더 깊은 내재적 특성임을 평가하는 것.

제안 방법

• 연구는 영어와 스페인어에서 자음 또는 모음 위치만 다름으로써 다른 최소 쌍(minimal pairs)을 사용하여 챗지피티의 단어 식별 행동을 평가한다.
• 자음 또는 모음의 존재를 조작하여 단어 인식에서의 선호도를 시험하기 위해 자극을 분석한다.
• 분석은 모델이 단어를 구별할 때 자음을 모음보다 더 많이 의존하는 경향을 중점으로 한다.
• 다른 음운 구조를 가진 언어들 간의 결과를 비교하여 관찰된 편향의 강건성을 시험한다.
• 응답 패턴의 통계적 평가를 통해 자음 기반 단어 식별에 대한 일관된 선호도를 식별한다.

실험 결과

연구 질문

• RQ1 챗지피티는 인간 언어 처리에서 관찰되는 것과 유사한 청각적 편향을 보이는가?
• RQ2 이러한 편향은 자음과 모음의 상대 빈도가 다른 언어들 간에 일관되게 나타나는가?
• RQ3 자기회귀 예측 방식으로 학습된 언어 모델에서, 청각적 특성에 대해 명시적으로 가르치지 않았음에도 자음 편향이 나타날 수 있는가?
• RQ4 모델의 행동은 인간 유아의 초기 단어 인식 경향과 어떻게 비교되는가?

주요 결과

• 챗지피티는 단어 식별 시 항상 자음을 모음보다 우선시하여 자음 우선성 편향을 보이며, 인간 유아에서 관찰되는 것과 유사한 편향을 나타낸다.
• 이 편향은 영어와 스페인어 모두에서 관찰되어, 음운 구조의 차이에도 불구하고 다국어적 강건성을 보인다.
• 최소 쌍 간의 유일한 차이가 모음 변화일 경우에도 모델의 자음 우선 선호도가 유지된다.
• 청각적 특성에 대해 명시적인 훈련 없이도 이러한 편향이 발생함을 고려할 때, 이는 모델의 아키텍처와 훈련 동역학에서 유래된다는 점을 시사한다.