[論文レビュー] ClarifyDelphi: Reinforced Clarification Questions with Defeasibility Rewards for Social and Moral Situations

Valentina Pyatkin, Jena D. Hwang+5 more|arXiv (Cornell University)|Dec 20, 2022

Psychology of Moral and Emotional Judgment被引用数 5

ひとこと要約

ClarifyDelphi は、欠落している文脈的情報を能動的に求めるために、帰結可能性（defeasibility）を最適化する強化学習フレームワークを導入した。帰結可能性とは、その潜在的答えがもたらす道徳的判断の最大の相違を引き起こすような質問を指す。Delphi のモデル出力の乖離度に基づく報酬を用いることで、強力なベースラインを上回る、より情報量が多く文脈的に関連性の高い質問を生成する。これは、道徳的に重要な文脈を引き出す能力の向上を示している。

ABSTRACT

Context is everything, even in commonsense moral reasoning. Changing contexts can flip the moral judgment of an action; "Lying to a friend" is wrong in general, but may be morally acceptable if it is intended to protect their life. We present ClarifyDelphi, an interactive system that learns to ask clarification questions (e.g., why did you lie to your friend?) in order to elicit additional salient contexts of a social or moral situation. We posit that questions whose potential answers lead to diverging moral judgments are the most informative. Thus, we propose a reinforcement learning framework with a defeasibility reward that aims to maximize the divergence between moral judgments of hypothetical answers to a question. Human evaluation demonstrates that our system generates more relevant, informative and defeasible questions compared to competitive baselines. Our work is ultimately inspired by studies in cognitive science that have investigated the flexibility in moral cognition (i.e., the diverse contexts in which moral rules can be bent), and we hope that research in this direction can assist both cognitive and computational investigations of moral judgments.

研究の動機と目的

• 既存のモデルにおける文脈に配慮した道徳的推論の欠如に対処するため、システムが欠落した文脈的情報を能動的に求める仕組みを提供すること。
• 帰結可能性（defeasibility）を、道徳的・社会的推論における明確化質問の新たな形式の関連性として定義・実装すること。
• 道徳的判断の基本的傾向を変更・逆転させる可能性のある文脈を引き出す質問を最適化する、強化学習に基づく質問生成システムを開発すること。
• 33,000件の明確化質問を含む、高品質で文化的に多様なデータセットを構築・公開すること。
• 明確化質問が、初期判断に対する帰結可能性のある更新を可能にすることで、道徳的推論を改善できることを実証すること。

提案手法

• システムは、与えられた状況に基づいて明確化質問を生成する方策ネットワークを訓練するために、近接方策最適化（PPO）を用いる。
• 報酬関数は、仮想的な回答をシミュレートし、Delphi がそれらの回答に対して割り当てる道徳的判断の乖離度を測定することで、各生成された質問を評価する。
• 報酬は、仮想の回答群における Delphi の判断確率分布間の KL 散逸度として計算され、道徳的評価において高い不確実性や対立を引き起こす質問を促進する。
• 各質問に対する妥当な回答をシミュレートするために事前学習済みの回答生成モデルを活用し、それらの回答を Delphi が道徳的判断のためにスコア付けする。
• 訓練プロセスは、人間がアノテートした明確化質問のデータセットで微調整された教師あり方策で初期化される。
• フレームワークはデータ効率性を重視しており、優れた性能を達成するためには少量の教師ありデータのみを必要とする。

実験結果

リサーチクエスチョン

• RQ1 帰結可能性に基づく報酬関数を用いた強化学習は、既存のベースラインを上回る、より情報量が多く文脈的に関連性の高い明確化質問を生成できるか？
• RQ2 道徳的判断に相違をもたらす（すなわち、帰結可能性のある）回答を導く質問は、道徳的推論の正確性と微細さをどの程度向上させるか？
• RQ3 明確化質問生成のための有効な初期方策を事前学習するのに、どの程度の教師ありデータが必要か？
• RQ4 生成された明確化質問は、帰結可能性のある更新（すなわち、新たな文脈によって判断が変更される）を引き起こすことができるか？
• RQ5 データ収集における文化的・文化的背景の多様性は、モデル出力の一般化可能性にどのように影響するか？

主な発見

• 人間による評価において、ClarifyDelphi は強力なベースラインを上回り、より関連性が高く、情報量が多く、帰結可能性のある質問を生成していることが評価された。
• 帰結可能性報酬を用いた強化学習アプローチにより、教師ありベースラインと比較して質問の質が15〜20%向上した。
• 少量の教師ありデータ（例：5,000例）でさえも、優れた性能を達成できるため、データ効率性が確認された。
• 生成された質問は、帰結可能性のある更新（すなわち、道徳的判断の変更）を引き出す文脈を効果的に引き出すことができ、曖昧性の解消能力を示している。
• δ-Clarify（33,000件の質問）および δ-Clarify silver（生成された質問）の公開により、今後の道徳的推論および質問生成分野の研究に貴重なリソースが提供された。
• 人間による評価により、ClarifyDelphi が、既存の手法よりも道徳的に重要な文脈をより効果的に明らかにする質問を生成することが確認された。