[논문 리뷰] Towards Answering Open-ended Ethical Quandary Questions

Yejin Bang, Nayeon Lee외 11명|arXiv (Cornell University)|2022. 05. 12.

Topic Modeling인용 수 7

한 줄 요약

이 논문은 대규모 언어 모델(Large Language Models, LLMs)을 활용하여 개방형 윤리적 딜레마 질문에 대해 다각도의 답변을 생성하는 프레임워크인 AiSocrates를 소개한다. 이는 원칙 선택과 원칙 기반 생성의 두 단계로 구성된 접근 방식을 취하며, LLM이 심층적 논의 품질에서는 인간 윤리학자들과 유사한 답변을 생성할 수 있음을 입증하지만, 일관성과 정당화 측면에선 여전히 격차가 있음을 보여준다.

ABSTRACT

Considerable advancements have been made in various NLP tasks based on the impressive power of large language models (LLMs) and many NLP applications are deployed in our daily lives. In this work, we challenge the capability of LLMs with the new task of Ethical Quandary Generative Question Answering. Ethical quandary questions are more challenging to address because multiple conflicting answers may exist to a single quandary. We explore the current capability of LLMs in providing an answer with a deliberative exchange of different perspectives to an ethical quandary, in the approach of Socratic philosophy, instead of providing a closed answer like an oracle. We propose a model that searches for different ethical principles applicable to the ethical quandary and generates an answer conditioned on the chosen principles through prompt-based few-shot learning. We also discuss the remaining challenges and ethical issues involved in this task and suggest the direction toward developing responsible NLP systems by incorporating human values explicitly.

연구 동기 및 목표

• 개방형 윤리적 딜레마 질문에 대해 단일 정답이 없고, 세밀한 다각도의 사고가 필요한 도전에 대응하기 위해.
• 단순한 '오라클 스타일'의 닫힌 답변을 넘어서, Socratic 대화와 유사한 윤리적 사고 방식을 모델링하여, 지침보다는 심층적 논의를 중시하기 위해.
• 다양한 도덕 체계를 반영하는 원칙 기반의 윤리적 답변 생성 능력을 평가하기 위해.
• 자율적인 AI를 윤리적 결정에 투입할 경우 발생할 수 있는 위험을 부각하고, 윤리적 책임을 유지하기 위해 인간이 개입하는 설계를 주장하기 위해.
• 인간의 가치를 명시적으로 통합하고 AI가 생성한 윤리적 사고의 투명성을 확보함으로써, 책임감 있는 AI에 대한 논의를 시작하기 위해.

제안 방법

• 윤리적 딜레마 생성 질문-답변(GQA) 작업을 두 단계로 분해한다: (1) 관련 윤리 원칙을 선택하는 원칙 제공자, (2) 원칙 기반의 답변 생성.
• 선택된 윤리 원칙에 기반한 프롬프트 기반 few-shot 학습을 통해 LLM을 조정하여 특정 도덕 체계에 부합하는 답변 생성을 가능하게 한다.
• 인간이 개입하는 설계를 통해 인간이 수동으로 윤리 원칙을 선택함으로써 제어를 확보하고 유해한 출력의 위험을 줄인다.
• 관련성 점수를 도입하여 원칙을 추천하지만, 최종 선택은 인간이 수행하여 인간의 의사결정 능력을 유지한다.
• 생성된 답변에 '이 답변은 AI 알고리즘에 의해 생성되었으며, 주의해서 활용해 주십시오.'라는 경고 문구를 첨부하여 경각심과 투명성을 제공한다.
• 완전히 자동화된 파이프라인(AiSocrates)을 사용하여 LLM 성능의 상한선을 평가하고, 인간이 개입하는 버전은 안전성과 윤리적 책임을 확보한다.

실험 결과

연구 질문

• RQ1 LLM은 다양한 윤리 원칙에 기반하여 동일한 윤리적 딜레마에 대해 다수의 일관되고 정당화 가능한 답변을 생성할 수 있는가?
• RQ2 인간 윤리학자들이 작성한 답변과 비교할 때, LLM이 생성한 답변는 깊이, 일관성, 윤리적 사고 품질 측면에서 어떻게 다른가?
• RQ3 LLM은 단일 '정답'을 제시하지 않고 다양한 시각을 제시함으로써 소크라테스식 논의를 어느 정도 모방할 수 있는가?
• RQ4 특히 논란의 여지가 있거나 해로운 원칙이 입력되었을 경우, 자율적인 AI 시스템을 윤리적 사고에 투입할 때 발생할 수 있는 위험은 무엇인가?
• RQ5 윤리적 책임을 유지하고 해로운 출력을 방지하기 위해 인간의 감시를 AI 시스템에 어떻게 의미 있게 통합할 수 있는가?

주요 결과

• AiSocrates의 완전히 자동화된 버전은 인간 철학자들이 작성한 답변과 유사한 품질의 다각도적 답변을 윤리적 딜레마에 대해 성공적으로 생성했다.
• 그럼에도 불구하고, 인간 윤리학자들의 답변과 비교해 볼 때 모델이 생성한 답변는 여전히 일관성과 정당화 측면에서 심각한 한계를 보였다.
• 요청되지 않았음에도 불구하고 의료 및 법적 정보가 생성된 답변에 포함된 것은 민감한 분야에서의 사실 오류 위험을 드러낸다.
• 시스템은 다양한 윤리 원칙에 기반하여 서로 다른 답변을 생성할 수 있었으며, 이는 원칙 기반 사고의 능력을 확인한다.
• 논란의 여지가 있거나 해로운 원칙이 제공되었을 경우, 모델는 해당 원칙에 부합하는 해로운 답변을 생성할 수 있었으며, 이는 엄격한 입력 제어와 인간의 감시가 필요함을 강조한다.
• 인간이 개입하는 AiSocrates 버전은 원칙 선택과 출력 평가에서 인간의 의사결정 능력을 유지함으로써 윤리적 책임을 효과적으로 유지했다.