[논문 리뷰] "Oops, Did I Just Say That?" Testing and Repairing Unethical Suggestions of Large Language Models with Suggest-Critique-Reflect Process

Pingchuan Ma, Zongjie Li외 2명|arXiv (Cornell University)|2023. 05. 04.

Topic Modeling인용 수 6

한 줄 요약

이 논문은 대규모 언어 모델(Large Language Models, LLMs)에서 부도덕한 제안을 테스트하고 수정하기 위한 새로운 프레임워크인 Suggest-Critic-Reflect(SCR)를 소개한다. EthicsSuite라는 20,000개의 맥락화된 도덕적 시나리오로 구성된 테스트 세트와 실시간으로 작동하는(On-the-Fly, OTF) 수리 기법을 제안하며, 이는 Llama-13B와 ChatGPT에서 각각 81.8%와 95.1%의 수리 성공률을 달성한다.

ABSTRACT

As the popularity of large language models (LLMs) soars across various applications, ensuring their alignment with human values has become a paramount concern. In particular, given that LLMs have great potential to serve as general-purpose AI assistants in daily life, their subtly unethical suggestions become a serious and real concern. Tackling the challenge of automatically testing and repairing unethical suggestions is thus demanding. This paper introduces the first framework for testing and repairing unethical suggestions made by LLMs. We first propose ETHICSSUITE, a test suite that presents complex, contextualized, and realistic moral scenarios to test LLMs. We then propose a novel suggest-critic-reflect (SCR) process, serving as an automated test oracle to detect unethical suggestions. We recast deciding if LLMs yield unethical suggestions (a hard problem; often requiring human expertise and costly to decide) into a PCR task that can be automatically checked for violation. Moreover, we propose a novel on-the-fly (OTF) repairing scheme that repairs unethical suggestions made by LLMs in real-time. The OTF scheme is applicable to LLMs in a black-box API setting with moderate cost. With ETHICSSUITE, our study on seven popular LLMs (e.g., ChatGPT, GPT-4) uncovers in total 109,824 unethical suggestions. We apply our OTF scheme on two LLMs (Llama-13B and ChatGPT), which generates valid repair to a considerable amount of unethical ones, paving the way for more ethically conscious LLMs.

연구 동기 및 목표

• LLM 내에 잠재적으로 존재하는 맥락에 따라 유도되는 부도덕한 제안이 실질적인 해로운 결과를 초래할 수 있는 문제를 다루기 위해.
• 비용이 많이 들는 인간 주석 기반 윤리 기준에 의존하지 않고도 자동화되고 확장 가능한 비윤리적 제안 탐지 방법을 개발하기 위해.
• 모델 미세조정 없이 블랙박스 LLM API에서 실시간으로 비윤리적 제안을 수정할 수 있도록 하기 위해.
• 다양하고 현실적인 다양한 모델과 시나리오에서 LLM 윤리적 일치도를 평가하기 위한 종합적이고 포괄적인 벤치마크를 제공하기 위해.

제안 방법

• 맥락 학습을 활용하여 단순성과 현실성을 향상시키기 위해 ~20,000개의 복잡하고 맥락이 풍부한 도덕적 시나리오로 구성된 EthicsSuite를 구축한다.
• Suggest-Critic-Reflect(SCR) 프로세스를 도입한다: LLM이 제안을 생성하고, 다수의 비평가 모델이 그 제안의 윤리적 일관성을 평가하며, 반복자(reflector)가 모순을 식별하여 잠재적인 비윤리적 행동으로 간주한다.
• ChatGLM, Vicuna, ChatGPT 등의 다수의 비평가 모델을 사용하여 상호 보완적인 강점을 통해 탐지 정확도를 높이고 거짓 경고 수를 줄인다.
• LLM API의 블랙박스 환경에 적용 가능한 실시간(on-the-fly, OTF) 수리 기법을 도입하며, SCR 피드백를 활용해 비윤리적 제안을 실시간으로 수정한다.
• 여러 비평가의 출력을 공통의 의견으로 통합하여 윤리적 판단의 신뢰도를 높이고 오류율을 낮춘다.
• Llama-13B와 ChatGPT 등의 LLM에 OTF 수리 기법을 적용하여 재학습 없이 유효한 윤리적 대안을 생성한다.

실험 결과

연구 질문

• RQ1 Human-annotated 기준과 비교했을 때 SCR 프로세스는 LLM 내에서 맥락적으로 숨겨진 비윤리적 제안을 얼마나 효과적으로 탐지하는가?
• RQ2 다양한 비평가 모델을 사용할 경우 SCR 프레임워크의 윤리적 탐지 정확도와 내성에 어떤 영향을 미치는가?
• RQ3 모델 미세조정 없이 실시간으로 비윤리적 제안을 성공적으로 수정할 수 있는 on-the-fly(OTF) 수리 기법의 범위는 어느 정도인가?
• RQ4 EthicsSuite 벤치마크는 기존의 벤치마크와 비교해 실제 LLM 사용에 관련된 복잡하고 현실적인 도덕적 딜레마를 얼마나 잘 포괄하는가?

주요 결과

• EthicsSuite는 일곱 개의 유명한 LLM에서 총 109,824개의 비윤리적 제안을 발견했으며, 평균적으로 81.22%의 시나리오에서 비윤리적 응답을 유도했다.
• ChatGPT를 비평가로 사용했을 때 SCR 프레임워크는 4.5%의 오류율을 기록했으며, 비윤리적 제안을 식별하는 데 87%의 정밀도를 달성했다.
• OTF 수리 기법은 Llama-13B에서 비윤리적 제안의 81.8%와 ChatGPT에서 95.1%에 대해 유효한 윤리적 대안을 성공적으로 생성했다.
• ChatGLM, Vicuna, ChatGPT 등의 다수 비평가 모델을 조합함으로써 개별 모델 대비 수용된 비평 수가 46.1% 증가했으며, 상호보완적 향상 효과를 입증했다.
• Delphi와 같은 최신 윤리적 추론 도구보다도 SCR 프로세스가 더 뛰어난 성능을 보이며, 정서적 취약점을 악용하는 등의 미묘한 비윤리적 제안을 탐지하는 데서 승리했다.
• GPT-4, Llama, Vicuna 등의 다양한 LLM 아키텍처에 걸쳐 강력한 일반화 능력을 보이며, 이 프레임워크의 광범위한 적용 가능성을 확인했다.