[논문 리뷰] Can ChatGPT's Responses Boost Traditional Natural Language Processing?

Mostafa M. Amin, Erik Cambria외 1명|arXiv (Cornell University)|2023. 07. 06.

ECG Monitoring and AnalysisMedicine인용 수 3

한 줄 요약

이 논문은 ChatGPT의 구체적인 응답이 정서 컴퓨팅 작업에서 전통적인 NLP 모델의 성능을 향상시키는 데 사용할 수 있는 새로운 지식을 포함하는지 조사한다. 감성 분석, 자살 위험 탐지, 성격 평가와 같은 세 가지 작업에 대해 ChatGPT에게 단계별 추론을 유도하고, 이 응답을 RoBERTa 또는 BoW 특징과 조기 또는 후기 융합하여 융합함으로써, ChatGPT의 상세한 출력이 독립적인 모델보다 성능을 향상시키는 고유한 정보를 제공한다는 것이 입증되었다. 특히 미세조정된 NLP 기법과 융합할 경우 더욱 두드러진다.

ABSTRACT

The employment of foundation models is steadily expanding, especially with the launch of ChatGPT and the release of other foundation models. These models have shown the potential of emerging capabilities to solve problems, without being particularly trained to solve. A previous work demonstrated these emerging capabilities in affective computing tasks; the performance quality was similar to traditional Natural Language Processing (NLP) techniques, but falling short of specialised trained models, like fine-tuning of the RoBERTa language model. In this work, we extend this by exploring if ChatGPT has novel knowledge that would enhance existing specialised models when they are fused together. We achieve this by investigating the utility of verbose responses from ChatGPT about solving a downstream task, in addition to studying the utility of fusing that with existing NLP methods. The study is conducted on three affective computing problems, namely sentiment analysis, suicide tendency detection, and big-five personality assessment. The results conclude that ChatGPT has indeed novel knowledge that can improve existing NLP techniques by way of fusion, be it early or late fusion.

연구 동기 및 목표

• RoBERTa와 같은 미세조정된 NLP 모델에 존재하지 않는, ChatGPT의 상세한 응답에 새로운 지식이 포함되어 있는지 조사하기 위해.
• 전통적인 NLP 특징(RoBERTa 및 BoW)과 ChatGPT의 상세한 응답을 융합하는 것이 정서 컴퓨팅 작업에서 성능 향상에 얼마나 효과적인지 평가하기 위해.
• 특징 수준의 연결(조기 융합)과 예측 평균화(후기 융합) 간의 성능 향상 효과를 비교하기 위해.
• 비구체적인 ChatGPT 응답에서 일관성 없는 레이블 형식을 처리하는 데 어려움을 겪는 문제를 상세한 추론을 통해 해결하기 위해.
• NLP 기법을 사용해 상세한 응답을 처리하면 레이블 파싱 기반 베이스라인 대비 신뢰성 있고 높은 성능을 달성할 수 있음을 입증하기 위해.

제안 방법

• 감성 분석, 자살 경향 탐지, 그리고 빅파이브 성격 평가와 같은 세 가지 이진 분류 작업에 대해, ChatGPT에게 단계별 추론을 포함한 상세한 응답을 생성하도록 프롬프트를 제공한다.
• RoBERTa-base와 n-gram Bag-of-Words(BoW) 표현을 사용하여 원본 입력 텍스트와 ChatGPT가 생성한 상세한 응답 양측에서 문맥적 특징을 추출한다.
• 각 모odal(예: Text+RoBERTa, ChatGPT+RoBERTa)에 대해 별도의 다층 퍼셉트론(MLP)을 훈련시킨다.
• 여러 모달리티의 특징 벡터를 결합하여 최종 예측 이전에 특징을 통합함으로써 조기 융합을 구현한다.
• 각 모달리티의 개별 모델에서 도출된 예측 확률을 평균화하여 후기 융합을 구현한다.
• 비구체적인 ChatGPT 응답에서 최종 레이블만을 파싱하는 베이스라인을 사용하여 상세한 응답 처리 방식과의 성능 비교를 수행한다.

실험 결과

연구 질문

• RQ1 ChatGPT의 상세한 응답은 전문적인 NLP 모델이 제공하는 것 외에 새로운 지식을 제공하여 정서 컴퓨팅 작업의 성능을 향상시킬 수 있는가?
• RQ2 ChatGPT의 상세한 응답에서 추출한 특징을 전통적인 NLP 특징(RoBERTa 또는 BoW)과 융합하면, 단독으로 사용할 경우보다 성능 향상이 이루어지는가?
• RQ3 특징 수준의 연결(조기 융합)과 예측 수준의 평균화(후기 융합) 중 어느 것이 ChatGPT와 NLP 모델 출력을 융합하는 데 더 효과적인가?
• RQ4 비구체적인 응답을 직접 레이블로 파싱하는 것과 비교해, NLP 기법을 사용해 상세한 응답을 처리하는 방식은 성능과 신뢰성 측면에서 어떻게 다른가?
• RQ5 ChatGPT와 NLP 모델의 융합이 가장 큰 성능 향상을 이끌어내는 작업은 무엇이며, 이러한 성능 향상에 영향을 미치는 요인들은 무엇인가?

주요 결과

• ChatGPT의 상세한 응답은 RoBERTa 또는 BoW 특징과 융합될 경우, 정서 컴퓨팅 작업에서 전통적인 NLP 모델의 성능을 향상시키는 고유하고 유용한 지식을 포함하고 있다.
• 감성 분석에서는 후기 융합이 항상 조기 융합보다 뛰어났고, 자살 탐지에서는 조기 융합이 더 우수했으며, 이는 작업에 따라 최적의 융합 전략이 달라질 수 있음을 시사한다.
• 빅파이브 성격 평가 작업에서는 원본 텍스트에 대한 RoBERTa 기반 모델이 가장 높은 성능을 기록했으며, 이는 ChatGPT 응답이 이 작업에서는 상대적으로 신뢰도가 낮다는 것을 의미한다.
• 비구체적인 응답을 직접 레이블로 파싱하는 베이스라인 대비 NLP 기법을 사용해 상세한 응답을 처리함으로써 성능 향상이 크게 향상되었으며, 이는 레이블 형식의 일관성 부족으로 인한 문제를 해결했기 때문이다.
• 특히 조기 융합을 통해 ChatGPT의 상세한 응답과 RoBERTa 특징을 융합하면 모든 작업에서 가장 높은 종합 성능를 달성했으며, 이는 대규모 언어 모델의 추론 능력과 미세조정된 시퀀스 인코더를 결합하는 가치를 입증한다.
• 원본 텍스트와 ChatGPT 응답 양측을 RoBERTa로 처리하는 것으로도 대부분의 경우 최신 기술 수준의 성능을 달성할 수 있었으며, 이는 복잡한 융합 아키텍처의 필요성을 줄였다.