[논문 리뷰] ClarifyDelphi: Reinforced Clarification Questions with Defeasibility Rewards for Social and Moral Situations

Valentina Pyatkin, Jena D. Hwang외 5명|arXiv (Cornell University)|2022. 12. 20.

Psychology of Moral and Emotional Judgment인용 수 5

한 줄 요약

ClarifyDelphi는 도전성(결정이 뒤바뀔 수 있는 잠재적 답변을 가진 질문)을 최적화하여 사회적·도덕적 상황에 대한 명확화 질문을 생성하는 강화학습 프레임워크를 도입한다. Delphi의 모델 출력의 분산을 기반으로 한 보상으로, 강력한 기준 모델들보다 더 정보가 풍부하고 맥락에 부합하는 질문을 생성하며, 도덕적 판단에 영향을 미치는 맥락을 이끌어내는 능력이 향상됨을 보여준다.

ABSTRACT

Context is everything, even in commonsense moral reasoning. Changing contexts can flip the moral judgment of an action; "Lying to a friend" is wrong in general, but may be morally acceptable if it is intended to protect their life. We present ClarifyDelphi, an interactive system that learns to ask clarification questions (e.g., why did you lie to your friend?) in order to elicit additional salient contexts of a social or moral situation. We posit that questions whose potential answers lead to diverging moral judgments are the most informative. Thus, we propose a reinforcement learning framework with a defeasibility reward that aims to maximize the divergence between moral judgments of hypothetical answers to a question. Human evaluation demonstrates that our system generates more relevant, informative and defeasible questions compared to competitive baselines. Our work is ultimately inspired by studies in cognitive science that have investigated the flexibility in moral cognition (i.e., the diverse contexts in which moral rules can be bent), and we hope that research in this direction can assist both cognitive and computational investigations of moral judgments.

연구 동기 및 목표

• 기존 모델들이 맥락 인식 도덕적 사고에 부족함을 보이므로, 시스템이 누락된 맥락 정보를 사전에 요청할 수 있도록 하는 것.
• 명확화 질문의 맥락적 관련성으로서의 '도전성'을 새로운 형태의 관련성으로 정의하고 구현하는 것.
• 기본 도덕적 판단이 뒤바뀔 수 있는 맥락을 이끌어낼 가능성이 높은 질문을 최적화하는 강화학습 기반 질문 생성 시스템을 개발하는 것.
• 33,000개의 사회적·도덕적 상황에 대한 고품질, 문화적으로 다양성이 반영된 명확화 질문 데이터셋을 구축하고 공개하는 것.
• 명확화 질문이 도덕적 사고를 향상시켜 初기 판단을 도전 가능하게 수정할 수 있음을 입증하는 것.

제안 방법

• 시스템은 주어진 상황에 기반해 명확화 질문을 생성하는 정책 네트워크를 훈련하기 위해 Proximal Policy Optimization (PPO)를 사용한다.
• 보상 함수는 가상의 답변을 시뮬레이션하고, Delphi가 그 답변들에 대해 할당한 도덕적 판단의 분산을 측정함으로써 각 생성된 질문을 평가한다.
• 보상은 Delphi의 판단 확률 분포 간의 KL 발산으로 계산되며, 도덕 평가에서 높은 불확실성 또는 갈등을 유도하는 질문을 장려한다.
• 각 질문에 대한 유력한 답변을 시뮬레이션하기 위해 사전 훈련된 답변 생성 모델을 활용하며, 이 답변들은 Delphi에 의해 도덕적 판단 점수로 평가된다.
• 훈련 과정은 인간이 애너테이션한 명확화 질문 데이터셋으로 미세조정된 지도 학습 정책으로 시작된다.
• 이 프레임워크는 소량의 지도 데이터만으로도 뛰어난 성능을 달성할 수 있도록 데이터 효율적으로 설계되어 있다.

실험 결과

연구 질문

• RQ1 도전성 기반 보상 함수를 사용한 강화학습은 기존 기준 모델들보다 더 정보가 풍부하고 맥락에 부합하는 명확화 질문을 생성할 수 있는가?
• RQ2 다른 도덕적 판단으로 이어지는 질문들(즉, 도전 가능한 답변을 가진 질문들)은 도덕적 사고의 정확성과 세밀함을 어느 정도 향상시키는가?
• RQ3 명확화 질문 생성을 위한 효과적인 초기 정책을 미세조정하기 위해 얼마나 많은 지도 데이터가 필요한가?
• RQ4 생성된 명확화 질문은 도전 가능한 업데이트를 유도할 수 있는가? 즉, 새로운 맥락에 기반해 판단이 바뀌는가?
• RQ5 데이터 수집의 문화적·인구 통계적 배경은 모델 출력의 일반화 가능성에 어떤 영향을 미치는가?

주요 결과

• 인간 평가에서 ClarifyDelphi는 기준 모델들보다 뛰어난 성능을 보이며, 질문들이 더 관련성 있고 정보가 풍부하며 도전성도 높게 평가되었다.
• 도전성 보상 기반 강화학습 접근법으로 인해 질문 품질이 지도 기반 기준 모델 대비 15-20% 향상되었다.
• 소량의 지도 데이터(예: 5,000개 예시)만으로도 뛰어난 성능을 달성할 수 있어 데이터 효율성이 뛰어나다는 것을 보여주었다.
• 생성된 질문들은 도전 가능한 업데이트를 유도하는 맥락을 효과적으로 이끌어내어, 애매모호함을 해결할 수 있는 능력을 입증했다.
• δ-Clarify(33,000개 질문)와 δ-Clarify silver(생성된 질문들)의 공개는 향후 도덕적 사고 및 질문 생성 분야의 연구에 유용한 자원을 제공한다.
• 인간 평가를 통해 ClarifyDelphi가 기존 방법들보다 도덕적으로 중요한 맥락을 더 잘 드러내는 질문을 생성한다는 것이 확인되었다.