[논문 리뷰] The Metacognitive Demands and Opportunities of Generative AI

Lev Tankelevitch, Viktor Kewenig외 5명|arXiv (Cornell University)|2023. 12. 18.

Explainable Artificial Intelligence (XAI)참고 문헌 203인용 수 17

한 줄 요약

본 논문은 메타인지 중심의 시각으로 생성형 AI의 사용성 도전과제를 이해하고 설계하기 위한 렌즈를 제시하며, 사용자에 대한 요구와 이를 해결하기 위한 설계 전략을 요약한다.

ABSTRACT

Generative AI (GenAI) systems offer unprecedented opportunities for transforming professional and personal work, yet present challenges around prompting, evaluating and relying on outputs, and optimizing workflows. We argue that metacognition$\unicode{x2013}$the psychological ability to monitor and control one's thoughts and behavior$\unicode{x2013}$offers a valuable lens to understand and design for these usability challenges. Drawing on research in psychology and cognitive science, and recent GenAI user studies, we illustrate how GenAI systems impose metacognitive demands on users, requiring a high degree of metacognitive monitoring and control. We propose these demands could be addressed by integrating metacognitive support strategies into GenAI systems, and by designing GenAI systems to reduce their metacognitive demand by targeting explainability and customizability. Metacognition offers a coherent framework for understanding the usability challenges posed by GenAI, and provides novel research and design directions to advance human-AI interaction.

연구 동기 및 목표

• 생성 GenAI 사용성 도전과제를 메타인지(자신의 생각과 행동의 모니터링 및 통제)에 근거시키기.
• 프롬프트 작성, 출력 평가, 자동화 전략에서의 구체적 메타인지적 요구를 식별하기.
• 생성형 AI 사용성을 개선하기 위한 메타인지 중재 및 설계 방향을 제시하기.
• 설명가능성과 맞춤화를 통해 메타인지적 부담을 줄이는 방법을 제안하기.

제안 방법

• 심리학 및 인지과학의 메타인지 이론에 대한 검토.
• 프롬프트 작성, 평가 및 자동화 도전과제를 강조하는 GenAI 사용자 연구의 종합.
• 메타인지 지원 전략과 설명가능성과 맞춤화를 통한 메타인지 요구 감소의 두 가지 설계 방향 제시.
• 개입 연구와 GenAI 프로토타입의 통합을 통해 연구 및 설계 기회를 제시.

실험 결과

연구 질문

• RQ1 GenAI에 프롬프트를 작성하고, 출력을 평가하며, 자동화 전략을 결정할 때 사용자가 경험하는 메타인지적 요구는 무엇인가?
• RQ2 메타인지 지원 전략을 GenAI 시스템에 어떻게 통합하여 사용성을 개선할 수 있는가?
• RQ3 설명가능성과 맞춤화를 통해 메타인지적 요구를 줄이도록 GenAI 시스템을 어떻게 설계할 수 있는가?
• RQ4 메타인지 프레이워크를 통해 GenAI 사용성을 바라볼 때 어떤 연구 방향이 도출되는가?

주요 결과

• GenAI는 프롬프트 구성, 출력 평가, 자동화 결정으로 인해 높은 메타인지적 모니터링 및 제어 요구를 부과한다.
• 메타인지적 중재는 사용자의 판단 정확도와 작업 계획을 향상시킬 수 있으며, 훈련과 피드백이 효과적인 전략이다.
• 설명가능성과 맞춤화는 메타인지적 처리 부담을 줄이고 사용자 상호작용을 필요에 맞게 조정할 수 있다.
• GenAI의 모델 유연성, 보편성, 창의성은 메타인지 요구를 해결할 수 있는 설계 기회를 제공한다.
• 인지부하와 메타인지적 요구 사이의 연관성이 있어 설계 선택을 통해 균형을 제안한다.