[論文レビュー] Predicting Audience's Laughter Using Convolutional Neural Network

Lei Chen, Chong MIn Lee|arXiv (Cornell University)|Feb 8, 2017

Humor Studies and ApplicationsPsychology参考文献 15被引用数 19

ひとこと要約

この論文では、テキスト特徴量を自動で学習する手法を用いて、TEDトークのトランスクリプトから観客の笑いを予測する畳み込みニューラルネットワーク（CNN）ベースのアプローチを提案している。従来の手作業で設計された言語的特徴量を用いる手法に比べ、優れた性能を示した。CNNモデルはパロングラムデータセットで86.1%の正確度を達成し、より大規模で多様なTEDトークコーパスでは58.9%の正確度を記録した。これは、手作業による特徴量設計の必要性が低減され、優れた性能を発揮することを示している。

ABSTRACT

For the purpose of automatically evaluating speakers' humor usage, we build a presentation corpus containing humorous utterances based on TED talks. Compared to previous data resources supporting humor recognition research, ours has several advantages, including (a) both positive and negative instances coming from a homogeneous data set, (b) containing a large number of speakers, and (c) being open. Focusing on using lexical cues for humor recognition, we systematically compare a newly emerging text classification method based on Convolutional Neural Networks (CNNs) with a well-established conventional method using linguistic knowledge. The advantages of the CNN method are both getting higher detection accuracies and being able to learn essential features automatically.

研究の動機と目的

• 発話者に依存しないユーモア認識システムを、実世界の発表において観客の笑いをユーモアの代理指標として用いて開発すること。
• 現在のデータセットがスクリプト形式のジョークやテレビコメディに限定されていることから、ユーモアを研究するためのオープンで本物の多様なコーパスが不足している問題に対処すること。
• 深層学習ベースのCNNモデルと、手作業で設計された言語的特徴量を用いた従来の機械学習モデルの性能を比較すること。
• CNNが、熟練した専門家が設計した特徴量に依存せずに、効果的なユーモア関連表現を自動で学習できるかどうかを評価すること。
• 大規模でオープンなTEDトークトランスクリプトコーパスを用いて、自然で非スクリプトな口語的発話におけるユーモア認識のベンチマークを確立すること。

提案手法

• 1,192件のTEDトークトランスクリプトからなる新しいコーパスを構築し、'(Laughter)'マークアップに続く発話文をユーモラスとラベル付けした。
• 同一トークの発話文がすべて同じパーティション（訓練セットまたは開発セット）に属するように、発話者に依存する構成を保つよう、コーパスを訓練（CVセット）と開発（Devセット）に分割した。
• 複数のフィルターサイズ（5, 6, 7）を用いた単語埋め込みを用いたCNNモデルを実装し、ReLU活性化関数とドロップアウト正則化（0.7と0.35）を適用した。
• 過学習を防ぐために、10%の検証データを用いた早期停止を適用したAdam最適化手法を用いて学習を実行した。
• 手作業で設計された言語的特徴量（矛盾、曖昧さ、音声的スタイルなど）を用いて学習した従来のランダムフォレスト分類器と、CNNモデルの性能を比較した。
• 開発セットでのモデル性能を最大化するために、200イテレーションにわたるTree Parzen Estimation（TPE）を用いてハイパーパrameterを最適化した。

実験結果

リサーチクエスチョン

• RQ1 CNNベースのモデルは、口語的発表からのユーモア検出において、手作業で設計された言語的特徴量を用いた従来の機械学習モデルを上回ることができるか？
• RQ2 TEDトークトランスクリプトで学習したCNNモデルの性能は、従来モデルと比較して正確度、適合率、再現率の観点でどのように異なるか？
• RQ3 CNNモデルが表現を自動で学習できる能力のおかげで、従来のアプローチと比較して、手作業による特徴量設計の必要性がどの程度低減されるか？
• RQ4 自然な発話パターンと多様な発話者を含む本物の発表において、モデルの汎化性能はどの程度か？
• RQ5 フィルターサイズ、ドロップアウト率、最適化戦略といったアーキテクチャの選択が、CNNのユーモア検出性能にどのような影響を及えるか？

主な発見

• パロングラムデータセットでは、CNNモデルが86.1%の正確度を達成し、従来手法の78.3%を著しく上回った。
• TEDトークデータセットでは、CNNモデルが58.9%の正確度を記録し、従来手法の52.0%を顕著に上回った。
• TEDデータセットでは、CNNモデルの適合率が従来手法の0.515から0.582に向上し、真のユーモラスな発話の識別能力が向上した。
• F1スコア（0.606 vs. 0.595）と再現率（0.632 vs. 0.705）においても、CNNモデルがよりバランスの取れた性能を示した。
• CNNモデルは、入力テキストから関連する表現を自動で学習するため、従来手法と比較して著しく少ない手作業による特徴量設計が要求された。
• 改善は見られたが、TEDデータセットにおける性能は依然として相対的に低く（58.9%の正確度）、本物の発表におけるユーモア認識は現在のモデルにとって依然として挑戦的な課題であることが示された。