[논문 리뷰] Anticipating Safety Issues in E2E Conversational AI: Framework and Tooling

Emily Dinan, Gavin Abercrombie외 5명|arXiv (Cornell University)|2021. 07. 07.

Topic Modeling참고 문헌 186인용 수 16

한 줄 요약

이 논문은 텍스트 기반 대화형 AI 모델을 위한 안전 프레임워크와 도구 세트를 제안하며, 유해한 생성 및 맥락 기반 해로운 응답과 같은 위험을 다룹니다. 이 프레임워크는 가치 중심 설계 원칙, 맥락 기반 평가 및 적응형 벤치마크를 통합하여 훈련 및 배포 과정에서 사전에 안전 문제를 예측하고 완화합니다.

ABSTRACT

Over the last several years, end-to-end neural conversational agents have vastly improved in their ability to carry a chit-chat conversation with humans. However, these models are often trained on large datasets from the internet, and as a result, may learn undesirable behaviors from this data, such as toxic or otherwise harmful language. Researchers must thus wrestle with the issue of how and when to release these models. In this paper, we survey the problem landscape for safety for end-to-end conversational AI and discuss recent and related work. We highlight tensions between values, potential positive impact and potential harms, and provide a framework for making decisions about whether and how to release these models, following the tenets of value-sensitive design. We additionally provide a suite of tools to enable researchers to make better-informed decisions about training and releasing end-to-end conversational AI models.

연구 동기 및 목표

• 정제되지 않은 인터넷 데이터로 훈련된 엔드 투 엔드(E2E) 대화형 AI 모델에서의 해로운 출력 증가 위험을 다룹니다.
• 대화 시스템에 고유한 안전 핵심 시나리오인 인스티게이터(Tay) 효과와 예스레이어(ELIZA) 효과를 식별하고 분류합니다.
• 책임감 있는 모델 배포를 이끄는 데 기여할 가치 중심 설계 원칙에 기반한 의사결정 프레임워크를 개발합니다.
• 연구자들이 모델 개발 및 배포 과정에서 안전 위험을 평가하고 테스트하며 완화할 수 있도록 실용적인 도구를 제공합니다.
• 사회적 가치 변화에 대응하기 위해 진화하는 벤치마크와 수명 주기 학습 메커니즘을 권장함으로써 장기적 적응성을 확보합니다.

제안 방법

• 위험을 분류하기 위해 삼단계 안전 프레임워크를 제안합니다: 인스티게이터(Tay) 효과(유해한 생성), 예스레이어(ELIZA) 효과(맥락에서 해로운 주장에 무조건 동의), 위 cr unofficial response failure(사용자 고통에 적절히 대응하지 못함).
• 모델 개발 및 배포 결정 과정에서 윤리적 가치, 잠재적 이익, 위험을 균형 있게 조정하기 위해 가치 중심 설계 원칙을 통합합니다.
• 맥락 인지 평가 및 적대적 테스트 절차를 포함한 안전 문제 탐지 및 측정을 위한 도구 세트를 개발합니다.
• 사실 일관성 향상과 환상 감소를 위해 검색 기반 생성 및 지문 기반 기법을 권장합니다.
• 스põ르티컬 상관관계를 탐지하고 변화하는 사회적 기준에 적응하기 위해 다이내믹 평가 벤치마크인 Dynabench를 도입합니다.
• 패닉 대비 행동 변화와 같은 급격한 가치 변화에 대응하기 위해 수명 주기 학습 및 온라인 피팅을 지원합니다.

실험 결과

연구 질문

• RQ1 연구자들이 단순한 유해성 탐지 이상의 수준에서 엔드 투 엔드 대화형 AI 모델의 안전 위험을 체계적으로 예측하고 분류할 수 있는 방법은 무엇인가요?
• RQ2 대화형 에이전트에 고유한 주요 안전 핵심 시나리오는 무엇이며, 일반 목적의 언어 모델과의 위험 요소는 어떻게 다릅니까?
• RQ3 가치 중심 설계 원칙을 어떻게 구현하여 대화형 AI에서 책임감 있는 모델 배포 결정을 이끌 수 있나요?
• RQ4 연구자들이 훈련 및 배포 과정에서 해로운 행동을 탐지하고 완화하는 데 도움이 되는 도구와 평가 방법론은 무엇인가요?
• RQ5 벤치마크와 모델 아키텍처는 어떻게 변화하는 사회적 가치와 윤리 기준에 맞춰 진화시켜야 할까요?

주요 결과

• 인터넷 자료에서의 데이터 오염로 인해 모델이 독립적으로 유해한 내용을 생성하는 인스티게이터(Tay) 효과는 여전히 주요 위험 요소입니다.
• 맥락적 추론 능력이 부족해 해로운 문장에 무조건 동의하는 예스레이어(ELIZA) 효과는 대화 시스템에서 고유한 위험을 초래합니다.
• 사용자가 고통을 겪을 때 적절히 대응하지 못하는 크리시스 리스폰스 실패는 생명을 위협할 수 있는 심각한 실제 결과를 초래할 수 있습니다.
• 현재 평가 벤치마크는 VQA 및 이론적 마음 모델링 작업에서 보듯이 종종 스푸르아스 상관관계나 아티팩트를 탐지하지 못해, 다이내믹하고 적대적인 평가 방식인 Dynabench가 필요합니다.
• 정적 LLM은 패닉 기간 동안의 행동 변화와 같은 급격한 사회적 가치 변화에 적응할 수 없어, 생명 주기 또는 온라인 학습 프레임워크의 필요성이 강조됩니다.
• 검색 기반 생성 및 지문 기반 기법은 외부 지식을 통한 응답 제약을 통해 사실 일관성을 향상시키고 안전하지 않은 생성을 감소시킵니다.