[논문 리뷰] Predicting Audience's Laughter Using Convolutional Neural Network

Lei Chen, Chong MIn Lee|arXiv (Cornell University)|2017. 02. 08.

Humor Studies and ApplicationsPsychology참고 문헌 15인용 수 19

한 줄 요약

이 논문은 텍스트에서 자동으로 학습된 특징을 활용하여 TED 강연 원고에서 청중의 웃음을 예측하는 컨볼루션 신경망(CNN) 기반 접근법을 제안한다. 이는 전통적인 수작업으로 구성된 언어적 특징 방법보다 뛰어난 성능을 보이며, 86.1%의 정확도를 기록한 파생어 데이터셋과 58.9%의 정확도를 기록한 더 큰, 다양한 TED 강연 코퍼스에서 성능이 뛰어나며, 수작업 특징 설계의 필요성을 줄였다.

ABSTRACT

For the purpose of automatically evaluating speakers' humor usage, we build a presentation corpus containing humorous utterances based on TED talks. Compared to previous data resources supporting humor recognition research, ours has several advantages, including (a) both positive and negative instances coming from a homogeneous data set, (b) containing a large number of speakers, and (c) being open. Focusing on using lexical cues for humor recognition, we systematically compare a newly emerging text classification method based on Convolutional Neural Networks (CNNs) with a well-established conventional method using linguistic knowledge. The advantages of the CNN method are both getting higher detection accuracies and being able to learn essential features automatically.

연구 동기 및 목표

• 실생활 강연에서 연설자에 관계없이 유머를 인식할 수 있는 시스템을 개발하기 위해 청중의 웃음을 유머의 대체 지표로 사용한다.
• 기존 데이터셋이 스크립트화된 농담이나 텔레비전 코미디에 국한되어 있어, 실제 말하기 전문 강연에서의 유머를 연구하기 위한 개방형, 진정성 있고 다양한 데이터셋의 부족을 해결한다.
• 딥 러닝 기반의 CNN 모델과 수작업으로 구성된 언어적 특징을 사용하는 전통적인 기계학습 모델 간의 성능을 비교한다.
• CNN이 효과적인 유머 관련 표현을 자동으로 학습할 수 있는지 평가한다. 이는 전문가가 설계한 특징에 대한 의존도를 줄이는 데 기여한다.
• 대규모로 개방된 TED 강연 원고 코퍼스를 활용하여 자연스럽고 비스크립트된 말하기 논의에서의 유머 인식에 대한 벤치마크를 수립한다.

제안 방법

• 1,192개의 TED 강연 원고로 구성된 새로운 코퍼스를 구축하였으며, '(Laughter)' 마크업 뒤에 오는 문장을 유머로 간주하여 레이블링하였다.
• 모든 한 강연의 문장이 동일한 분할에 포함되도록 하여 연설자 독립성을 확보하면서, 코퍼스를 교차검증(CV) 세트와 개발(Dev) 세트로 분할하였다.
• 다양한 필터 크기(5, 6, 7), ReLU 활성화 함수, 드롭아웃 정규화(0.7 및 0.35)를 사용한 워드 임베딩 기반의 CNN 모델을 구현하였다.
• 과적합을 방지하기 위해 검증 세트의 10%를 기반으로 조기 정지 기법을 사용한 Adam 옵timizer를 적용하였다.
• 수작업으로 구성된 언어적 특징(불일치, 모호성, 음운적 스타일 등)을 사용한 전통적인 랜덤 포레스트 분류기와 CNN 모델의 성능을 비교하였다.
• 개발 세트에서 모델 성능을 최대화하기 위해 200회 반복하는 트리 파르젠 추정(TPE)을 사용해 초모델 하이퍼파라미터를 최적화하였다.

실험 결과

연구 질문

• RQ1 CNN 기반 모델이 수작업으로 구성된 언어적 특징을 사용하는 전통적인 기계학습 모델보다 말하기 강연에서 유머를 탐지하는 데서 뛰어난 성능을 보일 수 있는가?
• RQ2 TED 강연 원고로 훈련된 CNN 모델의 정확도, 정밀도, 재현율 측면에서 기존 모델과의 성능 차이가 어떻게 나타나는가?
• RQ3 CNN 모델이 표현을 자동으로 학습할 수 있는 능력이 전통적 접근에 비해 수작업 특징 설계의 필요성을 얼마나 줄이는가?
• RQ4 자연스러운 말하기 패턴과 다양한 연설자에 대해 모델의 일반화 능력은 어떻게 나타나는가?
• RQ5 필터 크기, 드롭아웃 비율, 최적화 전략과 같은 아키텍처 선택이 CNN의 유머 탐지 성능에 어떤 영향을 미치는가?

주요 결과

• 파생어 데이터셋에서 CNN 모델은 86.1%의 정확도를 기록하였으며, 전통적 방법의 78.3%보다 뚜렷이 높았다.
• TED 강연 데이터셋에서 CNN 모델은 58.9%의 정확도를 기록하였으며, 전통적 방법의 52.0%보다 뚜렷한 향상이 있었다.
• TED 데이터셋에서 CNN 모델은 정밀도를 기존 방법의 0.515에서 0.582로 향상시켰으며, 진정한 유머 문장의 구분 능력이 향상됨을 시사한다.
• F1 점수(0.606 대 0.595)와 재현율(0.632 대 0.705)에서도 CNN 모델이 더 균형 잡힌 성능을 보이며, 전체 메트릭에서의 성능이 더 우수함을 입증하였다.
• CNN 모델은 원시 텍스트 입력에서 관련 표현을 자동으로 학습하므로, 수작업 특징 설계가 훨씬 줄어들었다.
• 성능 향상에도 불구하고 TED 데이터셋에서의 정확도는 여전히 낮은 편(58.9%)을 유지하고 있어, 실제 강연에서의 유머는 여전히 현재 모델에 있어 도전적인 과제임을 시사한다.