[논문 리뷰] Psychologically-informed chain-of-thought prompts for metaphor understanding in large language models

Ben Prystawski, Paul H. Thibodeau외 2명|arXiv (Cornell University)|2022. 09. 16.

Language, Metaphor, and Cognition인용 수 8

한 줄 요약

이 논문은 인지심리학 이론에서 유래한 잠재 변수를 기반으로 한 사고의 사슬 프롬프트를 도입하여 대규모 언어 모델의 은유 이해 능력을 향상시킨다. 은유의 의미를 주제-대상 관계와 비유적 의도에 대해 단계적 추론을 통해 유추하도록 유도할 때, 특히 GPT-3 모델들(특히 Curie와 DaVinci)은 새로운 또는 낯선 은유에 대해 더 높은 번역 선택 정확도를 보이며, 익숙함에 대한 의존도를 줄였다.

ABSTRACT

Probabilistic models of language understanding are valuable tools for investigating human language use. However, they need to be hand-designed for a particular domain. In contrast, large language models (LLMs) are trained on text that spans a wide array of domains, but they lack the structure and interpretability of probabilistic models. In this paper, we use chain-of-thought prompts to introduce structures from probabilistic models into LLMs. We explore this approach in the case of metaphor understanding. Our chain-of-thought prompts lead language models to infer latent variables and reason about their relationships in order to choose appropriate paraphrases for metaphors. The latent variables and relationships chosen are informed by theories of metaphor understanding from cognitive psychology. We apply these prompts to the two largest versions of GPT-3 and show that they can improve performance in a paraphrase selection task.

연구 동기 및 목표

• 인지심리학 이론을 프롬프팅에 통합하여 확률적 언어 이해 모델과 대규모 언어 모델(LLM) 간 격차를 메우기 위해.
• 은유 이해 이론에 기반한 사고의 사슬 프롬프트가 LLM의 은유 번역 선택 성능에 향상되는지 조사하기 위해.
• 의도적인, 체계적인 추론을 유도하여 LLM의 은유에 대한 익숙함에 대한 의존도를 줄이기 위해.
• 다양한 추론 구조(예: 논의 중인 질문 대비 주제-대상 식별)가 모델 성능에 미치는 영향을 평가하기 위해.
• 이론 기반 추론 단계로 유도되었을 때 LLM이 새로운 은유에 대해 일반화할 수 있는지 평가하기 위해.

제안 방법

• 인지심리학 이론에 기반한 두 가지 유형의 사고의 사슬 프롬프트를 개발: 하나는 논의 중인 질문에 중점을 두고, 다른 하나는 은유의 주제와 대상을 식별하는 데 중점을 두었다.
• 이 프롬프트를 사용하여 GPT-3 모델들(Curie 및 DaVinci)이 은유의 번역을 선택하기 전에 중간 단계의 추론을 수행하도록 유도하였다.
• 잠재 변수(예: 비유적 의도, 은유적 도메인)와 그 관계를 유추할 수 있도록 추론 과정을 체계화하여, 확률적 추론 모델을 모방하였다.
• 인간이 애너테이션한 번역 선택지가 포함된 Katz 은유 코퍼스에 프롬프트를 적용하였다.
• 다양한 프롬프팅 조건에서 평균 번역 선택 정확도(4점 척도 기준)를 사용하여 성능을 평가하였다.
• 이해도 없는 상태에서의 성능과 추론 과정이 포함된 경우를 비교하고, 은유의 익숙함이 모델 행동에 미치는 영향을 분석하였다.

실험 결과

연구 질문

• RQ1 인지심리학에 기반한 사고의 사슬 프롬프트는 대규모 언어 모델의 은유에 대한 적절한 번역 선택 능력을 향상시킬 수 있는가?
• RQ2 인지심리학 모델의 잠재 변수와 관계에 대해 추론하도록 유도하는 프롬프트가 은유 이해 작업 성능에 향상되는가?
• RQ3 추론의 구조(예: 논의 중인 질문에 중점 vs. 주제-대상 식별)가 모델 성능에 영향을 미치는가?
• RQ4 사고의 사슬 프롬프트가 은유의 익숙함에 대한 의존도를 어느 정도 줄이는가?
• RQ5 이러한 프롬프트가 익숙함 기반 히وري스틱이 실패하는 새로운 또는 낯선 은유에서 성능 향상에 기여하는가?

주요 결과

• Curie의 성능은 사고의 사슬 프롬프트를 통해 크게 향상되었으며, 특히 논의 중인 질문에 초점을 맞춘 추론일 경우 더욱 두드러졌다. 이는 체계적인 추론이 모델이 의도적인 처리에 참여하도록 돕는다는 것을 시사한다.
• DaVinci는 추론 없이도 높은 성능(평균 = 3.71/4.0)을 보였지만, 프롬프트를 제공받은 경우 성능이 더 일관되고 익숙함에 대한 의존도가 줄어들었다. 이는 추론 과정이 익숙함 편향을 줄이는 데 기여한다는 것을 의미한다.
• 모델의 추론은 종종 논리적으로 타당했지만, 의미적 특징(예: '흙을 감싸다' → '안정시키다')을 정확한 번역으로 연결하지 못하는 경우가 있었으며, 이는 올바른 중간 단계를 거쳐도 추론 격차가 존재한다는 것을 보여준다.
• 한 오류는 올바르게 특징을 식별했지만(예: '사랑은 꽃이다'에 대해 '아름다운'을 인식함) 해당 특징과 관련된 번역 선택지에 연결하지 못한 경우로, 최종 선택 단계에서 연결이 끊어진 것을 보여준다.
• 추론이 없이 은유의 익숙함이 성능에 큰 영향을 미쳤지만, 추론이 포함된 경우는 그렇지 않았다. 이는 사고의 사슬 프롬프트가 더 의도적인, 히وري스틱이 아닌 추론을 가능하게 한다는 가설을 지지한다.
• 익숙한 은유에서는 높은 성능를 보였지만, 추론이 제공되지 않은 경우 DaVinci는 새로운 은유에서 어려움을 겪었다. 이는 추론이 낯선 또는 복잡한 비유적 언어에 특히 유용할 수 있음을 시사한다.