[論文レビュー] Creating a Large Language Model of a Philosopher

Eric Schwitzgebel, David Schwitzgebel+1 more|arXiv (Cornell University)|Feb 2, 2023

Explainable Artificial Intelligence (XAI)被引用数 12

ひとこと要約

オーサーズは Daniel C. Dennett の著作で GPT-3 をファインチューニングして哲学者 LLM を作成し、人間がその回答と Dennett の回答を識別できるかをテストした。成功は混在。

ABSTRACT

Can large language models be trained to produce philosophical texts that are difficult to distinguish from texts produced by human philosophers? To address this question, we fine-tuned OpenAI's GPT-3 with the works of philosopher Daniel C. Dennett as additional training data. To explore the Dennett model, we asked the real Dennett ten philosophical questions and then posed the same questions to the language model, collecting four responses for each question without cherry-picking. We recruited 425 participants to distinguish Dennett's answer from the four machine-generated answers. Experts on Dennett's work (N = 25) succeeded 51% of the time, above the chance rate of 20% but short of our hypothesized rate of 80% correct. For two of the ten questions, the language model produced at least one answer that experts selected more frequently than Dennett's own answer. Philosophy blog readers (N = 302) performed similarly to the experts, while ordinary research participants (N = 98) were near chance distinguishing GPT-3's responses from those of an "actual human philosopher".

研究の動機と目的

• 大規模言語モデルが特定の哲学者の文章スタイルと推論を模倣できるかを示す。
• 機械生成の哲学的回答と人間が書いた回答を識別する能力を定量化する。
• 異なる観察者グループ（専門家、哲学系ブログ読者、一般参加者）間の識別性のばらつきを評価する。
• モデルの回答が哲学者自身の回答を上回る質問を特定する。

提案手法

• 追加の訓練データとして、哲学者 Daniel C. Dennett の著作で OpenAI GPT-3 をファインチューニングする。
• 実際の Dennett の10の哲学的質問を提示し、各質問につき4つの機械回答を生成する。
• 専門家、哲学系ブログ読者、一般参加者を招集して Dennett の回答と機械生成回答を識別してもらう。
• 回答を収集・比較して、偶然性と仮説されたパフォーマンスレベルに対する正確さを測定する。

実験結果

リサーチクエスチョン

• RQ1 Dennett の著作で訓練された GPT-3 ベースのモデルは、 Dennett の回答と区別できない回答を生成できるか？
• RQ2 機械と人間の哲学者の回答を区別する際、異なる読者グループ（専門家、哲学系ブログ読者、普通の参加者）の正確さはどの程度か？
• RQ3 機械が Dennett 自身の回答を上回る少なくとも1つの回答を生み出す質問はあるか？

主な発見

• 専門家（N=25）は正しく識別した割合が 51% で、20% の偶然確率を上回るが、80% の仮説的水準には及ばなかった。
• 10 問中 2 問で、専門家が Dennett 自身の回答より機械の回答をより頻繁に選択した少なくとも1つの機械回答が得られた。
• 哲学系ブログ読者（N=302）は専門家と同様の結果だった。
• 一般の研究参加者（N=98）は、GPT-3 の回答と“実際の人間の哲学者”の回答を識別する際、ほぼ運の域であった。