[論文レビュー] Let's Do a Thought Experiment: Using Counterfactuals to Improve Moral Reasoning

Xiao Ma, Swaroop Mishra+3 more|arXiv (Cornell University)|Jun 25, 2023

Adversarial Robustness in Machine LearningComputer Science被引用数 3

ひとこと要約

この論文は、反事後的推論を用いて言語モデルの道徳的推論を向上させる、Thought Experiments promptingという新しいフレームワークを紹介する。各シナリオに対して、回答の前に複数の道徳的反事後的仮説を生成するようモデルに指示することで、ゼロショットベースライン比でMMLU道徳的シナリオタスクの精度が9–16%向上し、わずか5つのFew-shot例を用いた微調整では80%の精度に達する。

ABSTRACT

Language models still struggle on moral reasoning, despite their impressive performance in many other tasks. In particular, the Moral Scenarios task in MMLU (Multi-task Language Understanding) is among the worst performing tasks for many language models, including GPT-3. In this work, we propose a new prompting framework, Thought Experiments, to teach language models to do better moral reasoning using counterfactuals. Experiment results show that our framework elicits counterfactual questions and answers from the model, which in turn helps improve the accuracy on Moral Scenarios task by 9-16% compared to other zero-shot baselines. Interestingly, unlike math reasoning tasks, zero-shot Chain-of-Thought (CoT) reasoning doesn't work out of the box, and even reduces accuracy by around 4% compared to direct zero-shot. We further observed that with minimal human supervision in the form of 5 few-shot examples, the accuracy of the task can be improved to as much as 80%.

研究の動機と目的

• 言語モデルが道徳的推論タスクで継続的に失敗する問題に取り組むこと、特にMMLU道徳的シナリオベンチマークにおいて。
• 人間の思考実験にインspiredされた反事後的思考—すなわち、標準的なチェーン・オブ・スティェートメントプロンプティングを超えて、モデルの推論を向上させられるかを調査すること。
• 道徳的反事後的仮説を通じて多様な推論経路を引き出すプロンプティングフレームワークを開発し、モデルの道徳的基準と人間の道徳基準の整合性を高めること。
• Thought Experiments prompting手法のゼロショットおよびFew-shotバージョンが道徳的推論タスクに与える有効性を評価すること。
• 標準的なゼロショットチェーン・オブ・スティェートメントが、数学的推論とは異なり道徳的推論ではなぜ失敗するのかを解明し、より効果的な代替手法を提案すること。

提案手法

• Thought Experiments promptingフレームワークは、各シナリオに対して回答する前に、複数の詳細な道徳的反事後的質問を生成するよう言語モデルに指示する。
• 各シナリオについて、意図、合意、結果の変化といった「もし～なら」のバリエーションを検討することで、道徳的含みを調べる。
• 代替の結果、許可、正当化を検討することで、多様な推論経路を強調する。
• フレームワークはゼロショットおよびFew-shotの両設定に適用され、Few-shotバージョンでは最小限の人的監視が行われる。
• 反事後的仮説の条件の下でも行動が道徳的に許容可能かどうかを分析することで、道徳的許容性を評価する。
• 最終的な回答は、複数の道徳的反事後的仮説の包括的検討の後で導かれる。道徳的対立や正当化の特定に重点を置く。

実験結果

リサーチクエスチョン

• RQ1 思考実験を通じた反事後的推論は、言語モデルの道徳的推論タスクにおけるパフォーマンスを向上させることができるか？
• RQ2 なぜ標準的なゼロショットチェーン・オブ・スティェートメントは、数学的推論とは異なり道徳的推論では失敗するのか？
• RQ3 Thought Experiments promptingは、MMLU道徳的シナリオベンチマークにおいて、他のゼロショットおよびFew-shotベースラインと比べてどの程度有効か？
• RQ4 最小限の人的監視（例：5つのFew-shot例）を用いることで、このフレームワークはどの程度道徳的推論の精度を向上させられるか？
• RQ5 複数の仮説的シナリオを検討することで、線形的推論経路よりも一貫性があり正確な道徳的判断が可能になるのか？

主な発見

• Thought Experiments promptingは、他のゼロショットベースラインと比較して、MMLU道徳的シナリオタスクの精度を9–16%向上させた。
• ゼロショットチェーン・オブ・スティェートメント推論は、直接的なゼロショットプロンプティングと比較して約4%の精度低下を示し、道徳的推論において効果がないことが示された。
• わずか5つのFew-shot例を用いることで、このフレームワークは道徳的シナリオタスクで最大80%の精度に達した。これは強力なFew-shot一般化能力を示している。
• この手法は、モデルが多様な反事後的質問と回答を効果的に引き出すことに成功し、これが道徳的判断の精度向上に不可欠であった。
• 複数の仮説的シナリオの検討により、モデルは線形的推論よりも道徳的対立を特定し、結論をより効果的に正当化することができた。
• 結果から、道徳的推論は、逐次的で線形的な推論経路よりも、多様で反事後的探索によってより大きな利益を受けることが示唆された。