[논문 리뷰] Witscript 3: A Hybrid AI System for Improvising Jokes in a Conversation

Joe Toplyn|ArXiv.org|2023. 01. 06.

Humor Studies and ApplicationsPsychology인용 수 3

한 줄 요약

Witscript 3는 세 가지 별개의 유머 메커니즘—어휘 玩味, 일반 지식 추론, 구조적 부조화—을 사용하여 대화형 농담을 생성한 후 가장 강력한 후보를 선별하는 하이브리드 AI 시스템이다. 인간 평가 결과, 출력물의 44%가 농담으로 평가되어 AI 시스템이 인간 수준의 대화형 유머를 구현하는 데에 진전을 보였다.

ABSTRACT

Previous papers presented Witscript and Witscript 2, AI systems for improvising jokes in a conversation. Witscript generates jokes that rely on wordplay, whereas the jokes generated by Witscript 2 rely on common sense. This paper extends that earlier work by presenting Witscript 3, which generates joke candidates using three joke production mechanisms and then selects the best candidate to output. Like Witscript and Witscript 2, Witscript 3 is based on humor algorithms created by an expert comedy writer. Human evaluators judged Witscript 3's responses to input sentences to be jokes 44% of the time. This is evidence that Witscript 3 represents another step toward giving a chatbot a humanlike sense of humor.

연구 동기 및 목표

• 대화적 맥락에서 적절하고 인간처럼 들리는 농담을 생성할 수 있는 하이브리드 AI 시스템을 개발하는 것.
• 어휘 玩味, 일반 지식 추론, 구조적 부조화와 같은 다수의 유머 생성 메커니즘을 하나의 프레임워크에 통합하는 것.
• 이전 버전(Witscript 및 Witscript 2)을 향상시키기 위해 다양한 농담 생성 전략을 조합하여 더 넓은 유머 다양성과 품질을 확보하는 것.
• 인간 평가를 통해 대화 맥락에서의 농담 품질과 자연스러움을 평가하여 시스템 성능을 평가하는 것.
• 전문 코미디스트의 인지적 및 언어적 패턴을 모방함으로써 AI 기반 대화형 유머 분야의 최신 기술 수준을 향해 나아가는 것.

제안 방법

• 시스템은 세 가지 별개의 농담 생성 메커니즘을 사용한다: 어휘 玩味 기반 생성, 일반 지식 기반 추론, 구조적 부조화 탐지.
• 각 메커니즘은 입력 문장에 대해 농담 후보 집합을 생성하며, 전문 코미디스트의 농담 작성 기법에서 유도된 농담 알고리즘을 활용한다.
• 선택 모듈은 관련성, 놀라움, 언어적 유창성 기반 가중치가 부여된 점수 함수를 사용해 모든 생성된 후보를 평가한다.
• 최종 출력은 가장 높은 점수를 받은 농담 후보로, 인식되는 유머감과 대화적 적합성을 극대화하기 위해 선별된다.
• 농담 알고리즘은 전문 코미디스트가 수작업으로 설계하여 인간의 유머 인식과 일치하도록 보장한다.
• 시스템은 전문가가 라벨링한 농담 응답과 함께 대화 입력 데이터셋을 기반으로 훈련 및 평가된다.

실험 결과

연구 질문

• RQ1 다양한 유머 메커니즘을 조합한 하이브리드 AI 시스템이 단일 메커니즘 시스템보다 더 설득력 있고 다양한 농담을 대화에서 생성할 수 있는가?
• RQ2 어휘 玩味, 일반 지식 추론, 구조적 부조화의 통합이 맥락적으로 관련된 농담을 생성하는 데 얼마나 효과적인가?
• RQ3 인간 평가자들이 대화 맥락에서 농담으로 평가하는 데 얼마나 성공적인가?
• RQ4 Witscript 3의 성능은 이전 버전인 Witscript 및 Witscript 2와 비교해 농담 품질과 다양성 측면에서 어떻게 다를까?
• RQ5 전문가가 설계한 농담 알고리즘이 AI 생성 농담의 자연스러움과 유머감 향상에 어떤 역할을 하는가?

주요 결과

• Witscript 3는 인간 평가에서 출력물의 44%가 농담으로 분류되어 인간 수준의 대화형 유머 구현에 측정 가능한 진전을 이룬 것으로 나타났다.
• 어휘 玩味, 일반 지식, 구조적 부조화의 세 가지 별개의 유머 메커니즘 통합으로 이전 버전 대비 농담 다양성과 맥락적 관련성이 향상되었다.
• 인간 평가자들은 시스템의 출력물이 대화 맥락에서 타당하고 적절하다고 평가하여 자연스러움이 향상된 것으로 나타났다.
• 전문가가 설계한 농담 알고리즘이 생성된 농담의 품질과 일관성 향상에 크게 기여했다.
• 시스템의 농담 선택 메커니즘은 고품질 후보를 효과적으로 우선순위로 배치하여 전체 출력 일관성 향상에 기여했다.
• 결과적으로, 다양한 유머 생성 전략을 통합한 하이브리드 아키텍처가 단일 방법 접근보다 대화형 농담 생성에서 더 우수한 성능을 내는 것으로 입증되었다.