[論文レビュー] Can ChatGPT's Responses Boost Traditional Natural Language Processing?

Mostafa M. Amin, Erik Cambria+1 more|arXiv (Cornell University)|Jul 6, 2023

ECG Monitoring and AnalysisMedicine被引用数 3

ひとこと要約

この論文は、ChatGPTの詳細な出力が、感情認識計算タスクにおける従来のNLPモデルの性能を向上させるために、新たな知識を含むかどうかを調査している。感情分析、自殺傾向検出、パーソナリティ評価の3つのタスクについて、ChatGPTに段階的な推論を促すことで、RoBERTa や BoW 特徴と、初期融合または後期融合によって統合し、ChatGPTの詳細な出力が、独立したモデルよりも優れた性能を発揮する独自の情報を提供することが示された。特に、微調整されたNLP技術と組み合わせた場合に顕著である。

ABSTRACT

The employment of foundation models is steadily expanding, especially with the launch of ChatGPT and the release of other foundation models. These models have shown the potential of emerging capabilities to solve problems, without being particularly trained to solve. A previous work demonstrated these emerging capabilities in affective computing tasks; the performance quality was similar to traditional Natural Language Processing (NLP) techniques, but falling short of specialised trained models, like fine-tuning of the RoBERTa language model. In this work, we extend this by exploring if ChatGPT has novel knowledge that would enhance existing specialised models when they are fused together. We achieve this by investigating the utility of verbose responses from ChatGPT about solving a downstream task, in addition to studying the utility of fusing that with existing NLP methods. The study is conducted on three affective computing problems, namely sentiment analysis, suicide tendency detection, and big-five personality assessment. The results conclude that ChatGPT has indeed novel knowledge that can improve existing NLP techniques by way of fusion, be it early or late fusion.

研究の動機と目的

• RoBERTa などの微調整済みNLPモデルに存在しない、ChatGPTの詳細な出力に新たな知識が含まれるかどうかを調査すること。
• 従来のNLP特徴（RoBERTa および BoW）と ChatGPT の詳細な出力を統合する手法の有効性を、感情認識計算タスクにおいて評価すること。
• 特徴レベルの連結（初期融合）と予測値の平均化（後期融合）の両手法が、モデル性能を向上させる上で、どちらがより効果的であるかを比較すること。
• 非詳細なChatGPT出力からの不均一なラベルフォーマットを解消するため、詳細な推論を活用することで、ラベルの解析課題に対処すること。
• NLP技術を用いて詳細な出力を処理することで、ラベル解析ベースラインよりも信頼性が高く、性能が向上するという事実を示すこと。

提案手法

• 感情分析、自殺傾向検出、および5大性格特性評価の3つの二値分類タスクについて、ChatGPTに段階的かつ詳細な推論を生成させるプロンプトを実行する。
• RoBERTa-base および n-gram Bag-of-Words (BoW) 表現を用いて、元の入力テキストおよびChatGPTが生成した詳細な出力から文脈特徴を抽出する。
• 各モodal（例：Text+RoBERTa、ChatGPT+RoBERTa）の抽出特徴に対して、個別の多層パーセプトロン（MLP）を訓練する。
• 複数のモダリティからの特徴ベクトルを事前に連結することで、初期融合を実装する。
• 個々のモダリティからの予測確率を平均化することで、後期融合を実装する。
• 非詳細なChatGPT出力からの最終ラベルのみをパースするベースラインを用意し、詳細な出力処理との性能比較を行う。

実験結果

リサーチクエスチョン

• RQ1 ChatGPTの詳細な出力は、専用のNLPモデルが提供するものとは異なる新たな知識を含んでおり、感情認識計算タスクの性能向上に寄与するか？
• RQ2 ChatGPTの詳細な出力からの特徴と、従来のNLP特徴（RoBERTa や BoW）を統合することで、単独で使用する場合よりも性能が向上するか？
• RQ3 初期融合（特徴レベル連結）と後期融合（予測確率平均化）のどちらが、ChatGPTとNLPモデルの出力を統合する上でより効果的か？
• RQ4 NLP技術を用いて詳細な出力を処理する方法と、非詳細な出力からのラベルを直接パースする方法とを比較した場合、性能および信頼性の面でどちらが優れるか？
• RQ5 ChatGPTとNLPモデルの統合によって、最も顕著な性能向上が得られるタスクは何か？また、その要因は何か？

主な発見

• ChatGPTの詳細な出力には、感情認識計算タスクにおいて従来のNLPモデルの性能を向上させる、新たな有用な知識が含まれており、特にRoBERTa や BoW 特徴と統合された場合に顕著である。
• 感情分析では後期融合が初期融合を常に上回ったが、自殺傾向検出では初期融合が優れていたため、最適な統合戦略はタスクに依存することが示された。
• 5大性格特性評価では、元のテキストに対するRoBERTaベースのモデルが最も高い性能を示したため、ChatGPTの出力はこのタスクでは信頼性に欠ける可能性がある。
• 非詳細な出力からのラベル直接パースベースラインは、フォーマットの不一致に起因して性能にばらつきが生じたが、NLP技術を用いて詳細な出力を処理することで、性能が著しく向上した。
• 特に初期融合を用いた場合、ChatGPTの詳細な出力とRoBERTa特徴の統合が、全タスクにわたり最高の全体的な性能を達成した。これは、大規模言語モデルの推論と微調整済みシーケンスエンコーダーを組み合わせることの価値を示している。
• 元のテキストとChatGPTの出力の両方をRoBERTaで処理するだけで、多くの場合に最先端の性能が達成可能であり、複雑な統合アーキテクチャの必要性が低下した。