[論文レビュー] Transformers Go for the LOLs: Generating (Humourous) Titles from Scientific Abstracts End-to-End

Yanran Chen, Steffen Eger|arXiv (Cornell University)|Dec 20, 2022

Topic Modeling被引用数 9

ひとこと要約

本稿では、微調整されたトランスフォーマー・モデルを用いて、科学的要約からエンド・ツー・エンドでタイトルを生成する手法を提案する。また、2,638件のユーモア付加付き科学的タイトルからなる新規データセットも開発した。その結果、最良の微調整モデルは人間が作成したタイトルとほぼ同等の性能を示すが、ユーモア生成は依然として困難である。モデルは人間より性能が劣り、データセットのアーティファクトを学習してしまう傾向にあり、むしろゼロショットのChatGPTでさえ、微調整なしに最良の微調整モデルと同等の性能を発揮している。

ABSTRACT

We consider the end-to-end abstract-to-title generation problem, exploring seven recent transformer based models (including ChatGPT) fine-tuned on more than 30k abstract-title pairs from NLP and machine learning (ML) venues. As an extension, we also consider the harder problem of generating humorous paper titles. For the latter, we compile the first large-scale humor annotated dataset for scientific papers in the NLP/ML domains, comprising almost ~2.6k titles. We evaluate all models using human and automatic metrics. Our human evaluation suggests that our best end-to-end system performs similarly to human authors (but arguably slightly worse). Generating funny titles is more difficult, however, and our automatic systems clearly underperform relative to humans and often learn dataset artefacts of humor. Finally, ChatGPT, without any fine-tuning, performs on the level of our best fine-tuned system.

研究の動機と目的

• 要約から科学論文のタイトルを生成するエンド・ツー・エンドのトランスフォーマー・ベースのモデルを開発すること。
• ユーモアの曖昧さと主観性が複雑に絡むため、科学的論文タイトルのユーモア生成の可能性を調査すること。
• 自然言語処理および機械学習分野で初めての大規模かつ人間がアノテートした、ユーモア付き科学的タイトルのデータセットを構築・公開すること。
• 微調整済みモデルと、ChatGPTのようなゼロショットの大規模言語モデル（LLM）のタイトル生成品質を比較すること。
• 現在のモデルの限界、特に繊細なユーモアを捉えることや幻覚（hallucinations）を回避することの難しさを分析すること。

提案手法

• 自然言語処理および機械学習の国際会議から得た30,352組の要約-タイトルペアを用いて、BART、LED、GPT変種を含む7種類の最新トランスフォーマー・ベースのモデルを微調整した。
• 2名のラベラーによる高い一致度（kappa ~0.65）を達成した、2,638件のユーモア付加付きタイトルからなる大規模な新規データセットを追加で訓練に組み込んだ。
• 自動評価指標（ROUGE）と15名のアノテーターによる人間評価を併用し、タイトルの質とユーモアの質を評価した。
• 要約（A）のみを入力とするエンド・ツー・エンドのモデルと、</s>トークンを用いて他のセクション（例：結論）を連結した入力（X）を用いるモデルを比較した。
• 微調整なしで、同じタスクに対してChatGPTのゼロショット性能を評価した。
• 出力の比較を通じて、幻覚やキーワードの漏れといったモデル挙動を分析するためのアブレーションスタディを実施した。[MODEL]+A および [MODEL]+X バリエーションの出力を比較した。

実験結果

リサーチクエスチョン

• RQ1 エンド・ツー・エンドのトランスフォーマー・モデルは、人間が作成したタイトルと同等の質の科学的論文タイトルを生成できるか？
• RQ2 微調整済みモデルは、ユーモア付きの科学的論文タイトルをどれほど効果的に生成できるか。また、真のユーモアではなく、データセットのアーティファクトを学習してしまうか？
• RQ3 要約に加えて、結論などの他のセクションを組み込むことで、タイトル生成の質はどの程度向上するか？
• RQ4 ゼロショットのChatGPTの性能は、微調整済みモデルと比べてどの程度か？
• RQ5 現在のモデルがなぜユーモア生成に苦戦しているのか。主な失敗モードは何か？

主な発見

• 最良の微調整モデルは、人間評価において人間が作成したタイトルとほぼ同等の性能を示したが、わずかに劣っていた。
• ユーモア生成は依然として大きな課題である。モデルは人間より明確に劣っており、しばしば表面的なデータセットのアーティファクトを学習している。
• 微調整なしのChatGPTは、最良の微調整モデルと同等の質のタイトルを生成しており、強力なゼロショット一般化能力を示している。
• 要約のみで訓練されたモデル（A）は、他のセクションに存在する重要な情報を頻繁に見逃しており、不完全または不正確なタイトルが生成される傾向にあった。
• 全文入力を用いたモデル（X）は、キーワードの捉え込みが向上し、性能が向上したが、依然として幻覚や表面的なパターンへの過剰依存に苦しんでいた。
• 本研究では、A2Tタスクが本質的に不適切に定式化されていることが判明した。高品質なタイトルは要約の外側の知識を必要とすることが多く、しかしエンド・ツー・エンドのモデルは依然として実用的で効率的な近似手法であると示された。