[論文レビュー] Towards Answering Open-ended Ethical Quandary Questions

Yejin Bang, Nayeon Lee+11 more|arXiv (Cornell University)|May 12, 2022

Topic Modeling被引用数 7

ひとこと要約

本稿では、大規模言語モデル（LLMs）を用いて、開放的で倫理的ジレンマに関する質問に対して複数の視点からの回答を生成するためのフレームワークであるAiSocratesを紹介する。2段階のアプローチ——原則選択、その後に続く原則に基づく生成——を採用しており、LLMsが議論の質において人間の倫理学者と同等の回答を生成できることを示しているが、一貫性や根拠の提示においてまだ課題が残っている。

ABSTRACT

Considerable advancements have been made in various NLP tasks based on the impressive power of large language models (LLMs) and many NLP applications are deployed in our daily lives. In this work, we challenge the capability of LLMs with the new task of Ethical Quandary Generative Question Answering. Ethical quandary questions are more challenging to address because multiple conflicting answers may exist to a single quandary. We explore the current capability of LLMs in providing an answer with a deliberative exchange of different perspectives to an ethical quandary, in the approach of Socratic philosophy, instead of providing a closed answer like an oracle. We propose a model that searches for different ethical principles applicable to the ethical quandary and generates an answer conditioned on the chosen principles through prompt-based few-shot learning. We also discuss the remaining challenges and ethical issues involved in this task and suggest the direction toward developing responsible NLP systems by incorporating human values explicitly.

研究の動機と目的

• 開放的で倫理的ジレンマに関する質問に直面する課題に対処すること。このような質問には単一の明確な答えがなく、洗練された多視点の推論が求められる。
• 「答えの正しさ」を提示するのではなく、ソクラテス的対話に似せた倫理的推論をモデル化することで、単なる「答えの出力」を超える。
• 異なる道徳的枠組みに基づいた、原則に条件付けられた倫理的根拠のある回答を生成するLLMsの能力を評価すること。
• 自律的なAIを倫理的意思決定に導入する際のリスクを強調し、道徳的自立性を保つために人間が関与する設計を提唱すること。
• 人間の価値観を明示的に組み込み、AIが生成する倫理的推論の透明性を確保することで、責任あるAIに関する議論を開始すること。

提案手法

• 倫理的ジレンマに関する生成的質問応答（GQA）タスクを2段階に分解する：(1) 関連する倫理的原則を特定する「原則提供者」、(2) 原則に基づいた回答生成。
• プロンプトベースの少数-shot学習を用いて、選択された倫理的原則に条件づけられたLLMsを活用し、特定の道徳的枠組みに整合した回答を生成可能にする。
• 人間が関与する設計を採用し、人間のエージェントが倫理的原則を手動で選択することで、制御を確保し、有害な出力を低減する。
• 関連性スコアリングを導入して原則の推薦を行うが、最終的な選択は人間が行うことで、自立性を保つ。
• 生成された回答に「この回答はAIアルゴリズムによって生成されています。ご注意ください。」という免責条項を付加し、注意喚起と透明性を確保する。
• 完全自動化されたパイプライン（AiSocrates）を用いてLLM性能の上限を評価する一方で、人間が関与するバージョンは安全性と倫理的責任を確保する。

実験結果

リサーチクエスチョン

• RQ1 LLMsは、異なる倫理的原則に基づいて、同じ倫理的ジレンマに対して複数の整合的で根拠のある回答を生成できるか？
• RQ2 人間の倫理学者が書いた回答と比較して、LLMsが生成する回答は、深さ、一貫性、道徳的推論の質においてどの程度の水準にあるか？
• RQ3 LLMsは、単一の「正解」を提示しないで、複数の視点を提示することで、ソクラテス的対話に類似した議論をどの程度模倣できるか？
• RQ4 特に、議論の余地がある、あるいは有害な原則が入力された場合に、自律的なAIシステムを倫理的推論に導入する際のリスクは何か？
• RQ5 道徳的責任を保ち、有害な出力を防ぐために、人間の監視をAIシステムにどのように意味的に統合できるか？

主な発見

• AiSocratesの完全自動化バージョンは、人間の哲学者が書いた回答と同等の質の多視点の回答を、倫理的ジレンマに対して生成できた。
• それでも、人間の倫理学者の回答と比較して、モデルが生成する回答には一貫性や根拠の提示において顕著な欠陥が残っている。
• 要求されていなくても医療や法的情報が生成された回答に含まれる事例は、感受性の高い分野における事実誤認のリスクを浮き彫りにしている。
• 異なる倫理的原則に基づいて、明確に異なる回答が生成されたことから、本システムが原則に条件づけられた推論を実現できていることが確認された。
• 懸念される、あるいは有害な原則が入力された場合、モデルはそれに対応する有害な回答を生成する可能性があり、厳格な入力制御と人間の監視の必要性を強調している。
• 人間が関与するAiSocratesのバージョンは、原則選択と出力評価において人間の自立性を保つことで、倫理的責任を的確に維持していた。