[論文レビュー] Language Models as Critical Thinking Tools: A Case Study of Philosophers

Andre Ye, Jared Moore+2 more|arXiv (Cornell University)|Apr 6, 2024

Education and Critical Thinking Development被引用数 4

ひとこと要約

本論文は、21名のプロフェッショナルな哲学者を対象としたインタビューを通じて、言語モデル（LMs）を熟考のためのツールとして調査し、現在のLMsが自己性と能動性を欠いており、深い反映的思考のための鍵となる特性に欠けていることが明らかになった。著者らは、自己性・能動性モデルと、3つの役割（対話者、モニター、応答者）を提唱し、哲学的および一般的な熟考的探求のための将来のLM開発をガイドする。

ABSTRACT

Current work in language models (LMs) helps us speed up or even skip thinking by accelerating and automating cognitive work. But can LMs help us with critical thinking -- thinking in deeper, more reflective ways which challenge assumptions, clarify ideas, and engineer new concepts? We treat philosophy as a case study in critical thinking, and interview 21 professional philosophers about how they engage in critical thinking and on their experiences with LMs. We find that philosophers do not find LMs to be useful because they lack a sense of selfhood (memory, beliefs, consistency) and initiative (curiosity, proactivity). We propose the selfhood-initiative model for critical thinking tools to characterize this gap. Using the model, we formulate three roles LMs could play as critical thinking tools: the Interlocutor, the Monitor, and the Respondent. We hope that our work inspires LM researchers to further develop LMs as critical thinking tools and philosophers and other 'critical thinkers' to imagine intellectually substantive uses of LMs.

研究の動機と目的

• 言語モデル（LMs）が深い反映的熟考のためのツールとして機能できるかどうかを、哲学者を事例として調査すること。
• 現在のLMsが熟考を支援するうえで、自己性と能動性という点でどのような制限を抱えているかを理解すること。
• 哲学的および関連分野における複雑な知的探求を支援できるようにLMsを再設計する方法を同定すること。
• 熟考のためのツールを評価・指針づけるための概念的枠組み（自己性・能動性モデル）を提唱すること。
• LMsを哲学的および知的作業プロセスに統合する際の倫理的・実務的含意を検討すること。

提案手法

• 21名のプロフェッショナルな哲学者を対象に、半構造化インタビューを実施し、熟考の実践およびLMsとの経験を調査した。
• インタビューのデータを分析し、現在のLMsにおける自己性（記憶、信念、一貫性）および能動性（好奇心、能動性）の欠如という共通のテーマを同定した。
• 人間の対話者や文章資本が現在のLMsよりも熟考に効果的である理由を説明する概念的枠組みとして、自己性・能動性モデルを提唱した。
• 将来のLMsが熟考において果たせる可能性のある3つの役割を定義した：対話者（反映的対話に参加）、モニター（推論の欠陥を評価）、応答者（的確で概念的に豊かな応答を提供）。
• 熟考、判断、知的関与の理論に基づいて、モデルを哲学的および認知科学の文献と結びつけた。
• LMの設計、インターフェース開発、著作権や学術的誠実性といった倫理的懸念を含めた含意を検討した。

Figure 1: Left – The selfhood-initiative model for critical thinking tools. Right – Illustrative sample interactions between humans and LMs playing different roles. Other alternatives are possible. The excerpt from “The Monitor” is taken from Singer ( 1972 ) .

実験結果

リサーチクエスチョン

• RQ1 プロフェッショナルな哲学者たちは、アイデアの生成や表現の面で有用であるにもかかわらず、なぜ現在の言語モデルが熟考に不適切だと感じているのか？
• RQ2 現在のLMsに欠けている、熟考の深い段階を支援できない核心的な認知的および経験的特性は何か？
• RQ3 LMsは、人間の哲学的対話や探求を模倣する形で、どのように再考され、熟考を支援できるようになるべきか？
• RQ4 将来のLMsが哲学的推論において果たせる役割は何か？ それらの役割は現在のアプリケーションとどのように異なるか？
• RQ5 知的分野における熟考のパートナーとしてLMsを統合する際、生じる倫理的および設計上の課題は何か？

主な発見

• 哲学者たちは、現在のLMsが自己性を欠いていると報告しており、具体的には記憶、一貫した信念、自己認識の欠如により、熟考的対話において疎外的で信頼できないと感じている。
• 哲学者たちは、LMsが能動性に欠けていることも指摘しており、受動的で無関心で能動的でないと評価し、仮説を問い直すか、考えを深く探求する能力を損なっていると感じている。
• 自己性・能動性モデルは、人間の対話者や哲学的テキストが現在のLMsよりも熟考に効果的である理由を説明するためのものとして開発された。
• インタビューから、哲学者たちは人間の会話における感情的・知的関与、共有される主観性、知的闘争の喜びを重視していることが明らかになった。
• 哲学者たちは、特に考えをうまく表現できないときや、思考と表現の不一致があるときに、LMsが言語による思考のプロセスを損なう可能性があると懸念を示している。
• 制限は認めつつも、哲学者たちは、LMsが対話者、モニター、応答者としての役割を果たせるように再設計されれば、依然として価値ある役割を果たせる可能性があると認識している。