[논문 리뷰] Analogy Generation by Prompting Large Language Models: A Case Study of InstructGPT

Bhavya Bhavya, Jinjun Xiong외 1명|arXiv (Cornell University)|2022. 10. 09.

Topic Modeling인용 수 5

한 줄 요약

이 논문은 개념적 및 설명적 과제를 위한 유사어 생성을 위해 InstructGPT에 프롬프트를 제공하는 방법을 제안하며, 정확한 명령형 프롬프트와 낮은 온도 설정이 가장 효과적인 결과를 낳음을 입증한다. 가장 큰 InstructGPT 모델은 유사 개념 생성 과제에서 인간 수준의 성능을 달성하지만, 설명 생성은 여전히 도전 과제로 남아 있어 모델이 프롬프트 설계에 매우 민감하고 모델 크기에 따라 성능이 달라지는 것을 보여준다.

ABSTRACT

We propose a novel application of prompting Pre-trained Language Models (PLMs) to generate analogies and study how to design effective prompts for two task settings: generating a source concept analogous to a given target concept (aka Analogous Concept Generation or ACG), and generating an explanation of the similarity between a given pair of target concept and source concept (aka Analogous Explanation Generation or AEG). We found that it is feasible to prompt InstructGPT to generate meaningful analogies and the best prompts tend to be precise imperative statements especially with a low temperature setting. We also systematically analyzed the sensitivity of the InstructGPT model to prompt design, temperature, and injected spelling errors, and found that the model is particularly sensitive to certain variations (e.g., questions vs. imperative statements). Further, we conducted human evaluation on 1.4k of the generated analogies and found that the quality of generations varies substantially by model size. The largest InstructGPT model can achieve human-level performance at generating meaningful analogies for a given target while there is still room for improvement on the AEG task.

연구 동기 및 목표

• 대규모 언어 모델인 InstructGPT를 사용하여 개념적 및 설명적 과제를 위한 의미 있는 유사어를 생성하는 것이 가능한지 탐색하기.
• 프롬프트 설계, 온도 초수치, 철자 오류가 유사어 생성 품질에 미치는 영향을 분석하기.
• 자동화 및 인간 평가를 통해 모델 크기가 생성된 유사어의 품질에 미치는 영향을 평가하기.
• 인간이 애너테이션한 기준 데이터를 사용하여 과학 분야에서의 유사어 생성을 위한 벤치마크 수립하기.

제안 방법

• 다양한 크기의 InstructGPT 모델(0.3B에서 175B 파라미터)을 사용하여 정교하게 설계된 텍스트 프롬프트를 통해 유사어를 생성한다.
• 두 가지 과제를 정의한다: 유사 개념 생성(Acg), 주어진 대상 개념에 대해 소스 개념을 생성하는 과제이며, 유사 설명 생성(Aeg), 유사성에 대한 설명을 생성하는 과제이다.
• 프롬프트의 형태를 체계적으로 변화시켜 명령형 문장과 질문 형식을 비교하고, 온도 설정을 다양하게 조정하여 민감도를 평가한다.
• 프롬프트에 철자 오류를 삽입하여 내성성을 평가하고, 수작업으로 정제된 100개의 과학 유사어 기준 데이터셋과 비교한다.
• 생성된 유사어 1,400개에 대해 인간 평가를 실시하여 품질을 평가하며, 평가자 간 일致도는 Cohen’s kappa를 통해 측정한다.
• 자동 평가에서는 BLEU 및 ROUGE 점수를 사용하여 생성된 출력물을 기준 텍스트와 비교한다.

실험 결과

연구 질문

• RQ1 RQ1: 다양한 프롬프트 설계와 온도 설정에서 InstructGPT가 의미 있는 유사어를 얼마나 효과적으로 생성하는가?
• RQ2 RQ2: InstructGPT는 프롬프트 스타일, 온도, 철자 오류의 변화에 얼마나 민감한가?
• RQ3 RQ3: 모델 크기가 Acg 및 Aeg 과제에서 생성된 유사어의 품질에 어떤 영향을 미치는가?

주요 결과

• 가장 큰 InstructGPT 모델(175B 파라미터)은 유사 개념 생성(ACG) 과제에서 인간 평가에서 70.05%의 유사어가 의미 있는 것으로 평가되어 인간 수준의 성능을 달성했다.
• 정확한 명령형 프롬프트와 낮은 온도 설정이 가장 높은 품질의 유사어를 생성했으며, 질문 기반 프롬프트보다 우수했고, 후자는 일관성 없거나 관련성이 낮은 출력을 유도했다.
• 모델는 프롬프트 설계에 매우 민감했으며, 명령형 문장이 의문형보다 유의미하게 더 좋은 결과를 내놓았다.
• 작은 모델들(예: 0.3B)은 성능이 열악했으며, ACG 과제에서 유의미한 출력 비율이 오직 1.90%에 불과하여 모델 규모에 강하게 의존하는 것으로 나타났다.
• AEG 과제는 더 도전적이었으며, 심지어 가장 큰 모델이라도 의미 있는 설명 생성 비율이 53.79%에 그쳐, 대규모 언어 모델의 유사 추론 능력에 대한 엄격한 시험으로 남아 있음을 시사한다.
• 인간 평가 결과, 평가자 간 일치도는 코HEN’s Kappa 값 0.3에서 0.5 사이로 중간 정도의 신뢰성을 보였으며, 연구자들은 모든 데이터셋을 향후 연구를 지원하기 위해 공개했다.