[논문 리뷰] Bridging the Gulf of Envisioning: Cognitive Design Challenges in LLM Interfaces

Hariharan Subramonyam, Roy Pea외 3명|arXiv (Cornell University)|2023. 09. 25.

Topic Modeling인용 수 7

한 줄 요약

이 논문은 인간-LLM 상호작용에서 사용자가 LLM의 능력, 프롬프트 구성 방식, 출력 평가에 대한 불확실성으로 인해 목표를 효과적인 프롬프트로 번역하는 데 어려움을 겪는 인지적 격차인 '상상의 골'을 도입한다. 이는 능력, 언어, 의도성의 불일치를 해결하기 위한 삼단계 프레임워크를 제안하며, 사용자가 LLM과 명확하고 효과적인 상호작용을 펼칠 수 있도록 지원하는 설계 지침을 제공한다.

ABSTRACT

Large language models (LLMs) exhibit dynamic capabilities and appear to comprehend complex and ambiguous natural language prompts. However, calibrating LLM interactions is challenging for interface designers and end-users alike. A central issue is our limited grasp of how human cognitive processes begin with a goal and form intentions for executing actions, a blindspot even in established interaction models such as Norman's gulfs of execution and evaluation. To address this gap, we theorize how end-users 'envision' translating their goals into clear intentions and craft prompts to obtain the desired LLM response. We define a process of Envisioning by highlighting three misalignments: (1) knowing whether LLMs can accomplish the task, (2) how to instruct the LLM to do the task, and (3) how to evaluate the success of the LLM's output in meeting the goal. Finally, we make recommendations to narrow the envisioning gulf in human-LLM interactions.

연구 동기 및 목표

• 사용자가 행동 가능한 의도로 이어지는 프롬프트를 구성하는 데 어려움을 겪는 새로운 인지적 과제인 '상상의 골'을 규명하고 특성화하는 것.
• 특히 시스템의 정신 모델이 부재한 상황에서 사용자가 효과적인 LLM 프롬프트를 상상하고 구성하는 방식을 이해하기 위한 이론적 프레임워크가 부족한 문제를 해결하는 것.
• 노먼의 실행 골과 평가 골과 같은 전통적인 HCI 모델을 발전시켜, 동적이고 생성적인 인터페이스에서 의도 형성에 초점을 맞춘 새로운 인지 계층을 도입하는 것.
• LLM의 능력, 프롬프트 구성, 출력 평가에 대한 불확실성을 극복하는 데 도움이 되는 실천 가능한 설계 권고안을 제공하는 것.

제안 방법

• 사용자가 추상적인 목표를 LLM용 실행 가능한 프롬프트로 번역해야 하는 '상상' 과정을 중심으로 한 인지 프레임워크를 제안한다.
• 세 가지 핵심 불일치를 규명한다: 능력 격차(모델이 할 수 있는 일), 언어 격차(지시어를 어떻게 표현할 것인지), 의도성 격차(목표에 비해 출력이 얼마나 적합한지 평가할 수 있는 기준이 없는 것).
• 인지과학과 HCI 이론을 바탕으로, 명확한 시스템 기능이나 정신 모델이 없을 때 사용자가 어떻게 의도를 형성하는지 모델링한다.
• 기존의 NLI 및 LLM 상호작용 패턴을 분석하여, 엄격하고 작업에 특화된 인터페이스와는 대비되는 LLM의 개방적이고 동적인 특성을 대조한다.
• 인지 부하 감소, 프롬프트 구성의 서포트, LLM 행동의 투명성에 기반한 설계 권고안을 통합한다.
• 소수 예시 프롬프팅, 세분화된 질문, 사고의 나무와 같은 전략이 사용자가 상상의 격차를 극복하는 데 어떻게 도움이 되는지 사례로 분석한다.

실험 결과

연구 질문

• RQ1 사용자는 어떻게 고수준의 목표에서 LLM용 구체적이고 실행 가능한 프롬프트로 인지적으로 전환하는가?
• RQ2 사용자가 효과적으로 프롬프트를 구성하고 출력을 평가하는 데 방해가 되는 주요 불일치 요소는 무엇인가?
• RQ3 노먼의 실행 골과 평가 골과 같은 전통적인 HCI 모델이 LLM 상호작용의 核심 과제를 포괄하지 못하는 이유는 무엇인가?
• RQ4 LLM의 능력과 한계가 명확하지 않은 상황에서 인터페이스 설계는 사용자가 효과적인 프롬프트를 상상하는 데 어떻게 지원할 수 있는가?
• RQ5 사용자가 원래 목표와 일치하는지 출력의 품질과 적합성을 평가하는 데 도움이 되는 설계 전략은 무엇인가?

주요 결과

• '상상의 골'은 LLM의 능력, 프롬프트 구성 방식, 출력 평가에 대한 불확실성으로 인해 사용자가 의도를 형성하는 데 어려움을 겪는 인지적 장벽으로서 명백한 특징을 지닌다.
• 사용자는 종종 목표가 타당해 보여도 LLM이 어떤 작업을 수행할 수 있는지 모른다는 '능력 격차'를 경험한다.
• 표준화되거나 탐색 가능한 방식이 없기 때문에 효과적인 프롬프트 표현 방법이 없어지며, 이로 인해 결과가 일관성 없고 최적화되지 않은 상태가 된다. 이것이 '언어 격차'이다.
• 사용자는 편향, 논리적 일관성, 완전성 등에 대해 출력이 원래 목표를 얼마나 충족하는지 평가할 수 있는 기준이 없기 때문에 '의도성 격차'에 빠지게 된다.
• 현재의 NLI 시스템은 그들의 엄격하고 기능에 특화된 설계로 인해 LLM 상호작용의 개방적이고 동적인 특성과 맞지 않다.
• 서포트 제공, 상호작용 피드백, 투명한 추론(예: 세분화된 질문, 사고의 나무)과 같은 설계 간섭 전략은 의도 형성 과정을 더 명확하고 관리 가능하게 만들어, 사용자가 상상의 격차를 극복하는 데 도움이 된다.