[논문 리뷰] Fluid Transformers and Creative Analogies: Exploring Large Language Models' Capacity for Augmenting Cross-Domain Analogical Creativity

Zijian Ding, Arvind Srinivasan외 2명|arXiv (Cornell University)|2023. 01. 01.

Topic Modeling인용 수 2

한 줄 요약

이 연구는 대규모 언어 모델(Large Language Models, LLMs)이 인간의 창의적 문제 해결을 보완하기 위해 교차 도메인 유사성 유추를 생성하는 데 사용되는지를 조사한다. 제로-샷 및 희소-샷 프롬프팅을 활용해 LLMs는 80%의 경우에서 도움이 된다고 평가되었고, 문제 해결 작업의 80%에서 문제 재구성 변화를 유도했지만, 최대 25%의 출력물에서 부적절하거나 충격적인 내용이 우려되는 사례가 발생하여 LLM 기반 유사성 창의성의 잠재력과 위험을 동시에 드러낸다.

ABSTRACT

Cross-domain analogical reasoning is a core creative ability that can be challenging for humans. Recent work has shown some proofsof-concept of Large language Models’ (LLMs) ability to generate cross-domain analogies. However, the reliability and potential usefulness of this capacity for augmenting human creative work has received little systematic exploration. In this paper, we systematically explore LLMs capacity to augment cross-domain analogical reasoning. Across three studies, we found: 1) LLM-generated crossdomain analogies were frequently judged as helpful in the context of a problem reformulation task (median 4 out of 5 helpfulness rating), and frequently (∼80% of cases) led to observable changes in problem formulations, and 2) there was an upper bound of ∼25% of outputs being rated as potentially harmful, with a majority due to potentially upsetting content, rather than biased or toxic content. These results demonstrate the potential utility — and risks — of LLMs for augmenting cross-domain analogical creativity.

연구 동기 및 목표

• LLM이 생성한 교차 도메인 유사성이 창의적 과제에서 인간의 문제 재구성에 효과적으로 기여하는지 조사하기.
• LLM이 생성한 유사성이 유사성 추론을 보완할 때의 신뢰성과 유용성을 평가하며, 특히 표면적 유사성에 대한 고착 현상 극복에 특별히 초점 맞추기.
• LLM이 생성한 유사성과 관련된 위험 요소를 점검하기, 특히 잠재적으로 유해하거나 충격적인 콘텐츠 포함.
• LLM을 반복적이고 사용자 중심의 창의적 과정에 통합하는 것이 깊이 있는 통찰 생성에 가능할지 탐색하기.

제안 방법

• 구조화된 문제 프롬프트를 사용해 LLM에서 교차 도메인 유사성을 유도하기 위해 제로-샷 및 희소-샷 프롬프팅 전략을 적용.
• 참가자들을 대상으로 한 세 차례의 통제 실험을 통해 LLM이 생성한 유사성이 문제 재구성 및 아이디어 도출에 미치는 영향 평가.
• 유사성의 유용성을 평가하기 위해 리커트 척도(1–5)를 사용하고, 노출 이후 문제 재구성 변화를 추적.
• 잠재적으로 유해한 출력물의 성격 분석을 통해 독성, 편향, 충격적인 콘텐츠를 구분.
• LLM과 구조화된 지식 기반(예: Wolfram Alpha)을 결합해 통찰의 깊이를 향상시킬 수 있는 잠재력 탐색.
• 사용자 재구성이 후속 LLM 프롬프트에 영향을 주는 반복적 LLM 통합 패턴 제안.

실험 결과

연구 질문

• RQ1 LLM이 생성한 교차 도메인 유사성이 인간의 문제 재구성 품질과 다양성에 어느 정도 향상시키는가?
• RQ2 LLM이 생성한 유사성이 창의적 문제 해결 맥락에서 얼마나 자주 유용하게 인식되는가?
• RQ3 LLM이 생성한 유사성 중 유해할 가능성이 있는 비율은 얼마이며, 주로 어떤 형태의 피해가 우려되는가?
• RQ4 LLM이 생성한 유사성이 유사성 검색에서 표면적 유사성에 대한 고착 현상을 극복하는 데 도움이 되는가?
• RQ5 LLM을 반복적 설계 과정에 통합하면 통찰 생성과 개념적 탐색이 어떻게 향상될 수 있는가?

주요 결과

• LLM이 생성한 유사성은 참가자 전반에서 중앙값 기준 5회 중 4회 이상에서 도움이 된다고 평가되어 창의적 문제 해결에서 강력한 인지적 유용성을 나타낸다.
• 노출 후 참가자들이 문제 재구성 방식을 관찰 가능한 방식으로 변화시킨 경우가 80%에 달하여 활발한 인지적 참여가 이루어졌음을 시사한다.
• LLM이 생성한 출력물의 약 25%가 잠재적으로 유해하다고 평가되었으며, 이 중 대부분은 독성이나 편향보다는 충격적인 콘텐츠 때문이었다.
• 이 연구에서 한 번의 프롬프팅(one-shot prompting)이 소수의 프롬프팅(few-shot prompting)보다 성능이 뛰어났지만, 그 차이는 미미했고, 프롬프팅 설계 및 예시 품질에 따라 달라질 수 있다.
• 유사성의 통찰 깊이가 제한되어 있었으며, 깊은 개념적 전환을 이룬 참가자는 소수에 그쳐, 형식적 언어 패턴을 넘어서는 功能적 언어 능력의 격차가 존재함을 시사한다.
• 미래에는 LLM을 구조화된 지식 기반 또는 반복 피드백 루프와 통합함으로써 생성된 유사성의 품질과 관련성을 향상시킬 수 있을 것이다.