[논문 리뷰] Language Models as Critical Thinking Tools: A Case Study of Philosophers

Andre Ye, Jared Moore외 2명|arXiv (Cornell University)|2024. 04. 06.

Education and Critical Thinking Development인용 수 4

한 줄 요약

이 논문은 21명의 전문 철학자들과의 인터뷰를 통해 언어모델(LMs)이 깊이 있는 반성적 사고를 위한 도구로 기능할 수 있는지 조사한다. 결과적으로 현재의 LMs는 깊이 있는 사고에 핵심적인 역할을 하는 자아와 능동성 부족을 드러내며, 저자들은 자아-능동성 모델과 세 가지 역할(대화자, 감시자, 응답자)을 제안하여 향후 철학적 및 일반적인 비판적 탐구를 위한 언어모델 개발을 이끌어내고자 한다.

ABSTRACT

Current work in language models (LMs) helps us speed up or even skip thinking by accelerating and automating cognitive work. But can LMs help us with critical thinking -- thinking in deeper, more reflective ways which challenge assumptions, clarify ideas, and engineer new concepts? We treat philosophy as a case study in critical thinking, and interview 21 professional philosophers about how they engage in critical thinking and on their experiences with LMs. We find that philosophers do not find LMs to be useful because they lack a sense of selfhood (memory, beliefs, consistency) and initiative (curiosity, proactivity). We propose the selfhood-initiative model for critical thinking tools to characterize this gap. Using the model, we formulate three roles LMs could play as critical thinking tools: the Interlocutor, the Monitor, and the Respondent. We hope that our work inspires LM researchers to further develop LMs as critical thinking tools and philosophers and other 'critical thinkers' to imagine intellectually substantive uses of LMs.

연구 동기 및 목표

• 언어모델(LMs)이 깊이 있고 반성적인 비판적 사고를 위한 도구로 기능할 수 있는지, 철학자를 사례로 삼아 조사한다.
• 현재 LMs가 자아와 능동성 측면에서 비판적 사고를 지원하는 데에 미치는 한계를 이해한다.
• 철학 및 관련 분야에서 복잡한 지적 탐구를 지원하기 위해 LMs를 어떻게 재설계할 수 있는지 규명한다.
• 비판적 사고 도구 평가 및 이끌기 위한 개념적 프레임워크인 자아-능동성 모델을 제안한다.
• 언어모델을 철학적 및 지적 작업 흐름에 통합함에 있어 윤리적 및 실용적 영향을 탐색한다.

제안 방법

• 비구조화된 인터뷰를 통해 21명의 전문 철학자들을 대상으로 비판적 사고 습관과 언어모델 사용 경험을 탐구한다.
• 인터뷰 데이터를 분석하여 현재 언어모델에서 자각되지 않는 자아(기억, 신념, 일관성)와 능동성(호기심, 사전 준비성) 부족에 대한 반복적인 주제를 식별한다.
• 자신감 있는 인간 대화자와 텍스트 자료가 현재 언어모델보다 비판적 사고에 더 효과적인 이유를 설명하기 위해 자아-능동성 모델을 개념적 프레임워크로 제안한다.
• 향후 언어모델이 비판적 사고에서 수행할 수 있는 세 가지 잠재적 역할을 정의한다: 대화자(반성적 대화 참여), 감시자(논리적 오류 평가), 응답자(목표 지향적이고 개념적으로 풍부한 응답 제공).
• 반성, 판단, 지적 참여 이론에 기반한 철학 및 인지과학 문헌을 활용하여 모델을 이론적으로 뒷받침한다.
• 언어모델 설계, 인터페이스 개발, 저작권 및 학술 윤리와 같은 윤리적 고려사항에 대한 영향을 탐색한다.

Figure 1: Left – The selfhood-initiative model for critical thinking tools. Right – Illustrative sample interactions between humans and LMs playing different roles. Other alternatives are possible. The excerpt from “The Monitor” is taken from Singer ( 1972 ) .

실험 결과

연구 질문

• RQ1 전문 철학자들이 아이디어 생성과 표현에 유용하다고 느끼는 현재의 언어모델이 비록 반성적 사고에 효과적이지 않다고 느끼는 이유는 무엇인가?
• RQ2 현재 언어모델이 깊이 있는 반성적 사고를 지원하지 못하는 데에 핵심적인 인지적 및 경험적 특성이 무엇이 부족한가?
• RQ3 언어모델을 어떻게 재구상하여 인간 철학자 대화와 유사한 방식으로 철학적 탐구를 지원할 수 있는가?
• RQ4 향후 언어모델이 철학적 추론에서 수행할 수 있는 역할은 무엇이며, 기존 응용과 어떻게 다를 수 있는가?
• RQ5 지적 분야에서 언어모델을 비판적 사고 파art너로 통합함에 있어 발생하는 윤리적 및 설계 과제는 무엇인가?

주요 결과

• 철학자들은 현재 언어모델이 자아가 부족하다고 보고한다. 특히 기억, 일관된 신념, 정체성의 감각이 없어 비판적 대화에서 떨어져 있고 신뢰할 수 없다고 느낀다.
• 철학자들은 또한 언어모델이 능동성 부족을 경험한다며, 수동적이고 호기심이 없으며 사전 준비가 되어 있지 않아, 가정을 도전하거나 아이디어를 깊이 있게 탐색하는 데에 실패한다고 설명한다.
• 자신감 있는 인간 대화자와 철학적 텍스트가 현재 언어모델보다 비판적 사고에 더 효과적인 이유를 설명하기 위해 자아-능동성 모델을 개발하였다.
• 인터뷰에서 철학자들은 인간 대화의 정서적 및 지적 참여, 공유된 주관성, 지적 고투의 즐거움을 소중히 여긴다.
• 철학자들은 언어를 통해 생각하는 과정이 위협받을 수 있다고 우려한다. 특히 생각을 명확히 표현하기 어려운 경우나 사고와 표현 간 불일치가 발생할 경우 더욱 그렇다.
• 한계가 있음에도 불구하고, 철학자들은 언어모델이 자아-능동성 모델에 따라 재설계된다면 여전히 가치 있는 역할을 할 수 있다고 인정한다. 특히 대화자, 감시자, 응답자로서의 역할을 수행할 수 있다.