[논문 리뷰] An implemented model of punning riddles

Kim Binsted, Graéme Ritchie|ArXiv.org|1994. 06. 13.

Humor Studies and Applications참고 문헌 7인용 수 63

한 줄 요약

이 논문은 어휘 항목과 두 가지 핵심 구조인 의미 관계의 체계적 구조와 표면 형식의 템플릿을 사용하여 농담을 생성하는 구현된 상징적 모델인 J A P E-1을 제시한다. 시스템은 인식 가능한 농담을 성공적으로 생성하지만, 많은 농담이 인간 평가에서 평균 5점 만점에 1.5점으로 낮은 품질로 평가되어, 품질과 어휘 정확도 향상 여력이 있음에도 불구하고 계산적 농담 생성의 가능성을 보여준다.

ABSTRACT

In this paper, we discuss a model of simple question-answer punning, implemented in a program, JAPE, which generates riddles from humour-independent lexical entries. The model uses two main types of structure: schemata, which determine the relationships between key words in a joke, and templates, which produce the surface form of the joke. JAPE succeeds in generating pieces of text that are recognizably jokes, but some of them are not very good jokes. We mention some potential improvements and extensions, including post-production heuristics for ordering the jokes according to quality.

연구 동기 및 목표

• 농담과 무관한 어휘 기반으로 구조화된 언어 규칙을 사용하여, 계산적으로 구현 가능한 상징적 모델을 개발하는 것.
• 형식적이고 상징적인 모델을 통해 농담을 생성하고, 이를 인간의 기준에 비추어 평가하는 것.
• 현재 설계의 한계를 규명하고 더 나은 농담 품질을 위한 개선 방안을 제안하는 것.
• 형식적 상징 계산을 통해 언어적 농담을 모델링하는 가능성 탐색

제안 방법

• 모델은 목표어와 그 동음이의어 사이의 의미 관계를 정의하기 위해 체계적 구조를 사용하며, 의미를 조합하여 가짜 어구를 형성한다.
• 템플릿은 농담의 표면 구조를 생성하며, 질문과 핵심 농담의 구성 방식을 포함한다.
• 시스템은 의미, 품사, 동음이의어가 정의된 어휘집에 의존하여 어순 바꾸기 기반의 농담을 가능하게 한다.
• J A P E-1은 일반 명사어구에 동음이의어를 대체함으로써 이중 의미를 만들어내어 농담을 생성한다.
• 평가 과정은 인간 평가자가 생성된 농담을 5점 만점 척도로 평가하여 인식 가능성과 농담 품질을 평가하는 방식이다.
• 평가 이후 히ュ리스틱 기법을 제안하여 농담의 품질에 따라 필터링하고 순위를 매기며, 어휘 항목을 정교화하고 낮은 성능을 보이는 템플릿을 제거한다.

실험 결과

연구 질문

• RQ1 기호적 계산 모델이 농담으로서 인식 가능한 농담을 생성할 수 있는가?
• RQ2 자동 생성된 농담의 품질이 인간이 만든 예시와 비교해 어떻게 다른가?
• RQ3 어떤 구조적 및 어휘적 요소가 생성된 농담의 유머 또는 실패에 기여하는가?
• RQ4 어떤 템플릿과 체계적 구조의 조합이 일관되게 높은 품질의 농담을 생성하는가?
• RQ5 어휘 정의를 어떻게 개선하면 농담의 품질과 일관성을 높일 수 있는가?

주요 결과

• J A P E-1은 농담으로서 식별 가능한 텍스트를 성공적으로 생성하여, 상징적 모델이 인식 가능한 유머 출력을 생성할 수 있음을 입증한다.
• 인간 평가자로부터의 평균 농담 점수는 5점 만점에 1.5점으로, 대부분의 생성된 농담이 낮은 품질 또는 '비참한' 수준으로 평가됨을 나타낸다.
• 한 평가자에게서 5/5로 높은 점수를 받은 일부 농담이 다른 평가자에게서 낮게 평가되어 인간 평가의 일관성 부족과 잠재적 주관성의 가능성을 보여준다.
• use_syn 템플릿은 체계적 구조에 의해 생성된 정의를 부적절하게 사용하여 비농담(예: '기다리는 줄을 때리기 위해 무엇을 쓰나요? 풀 킵스입니다.')을 생성했다.
• class_has_rev 템플릿은 평균 2점으로 더 좋은 결과를 보였으며, 이는 템플릿 설계가 농담 품질에 상당한 영향을 미친다는 것을 시사한다.
• 너무 일반적인 정의(예: '행거'를 '기구'로 정의)를 가진 어휘 항목은 일관성 없는 농담을 만들어내어 더 풍부한 어휘 메타데이터가 필요함을 강조한다.