[논문 리뷰] Generating Synthetic Documents for Cross-Encoder Re-Rankers: A Comparative Study of ChatGPT and Human Experts

Arian Askari, Mohammad Aliannejadi외 2명|arXiv (Cornell University)|2023. 05. 03.

Topic Modeling인용 수 4

한 줄 요약

이 연구는 정보 검색에서 크로스엔코더 재정렬 모델을 훈련시키기 위해 ChatGPT가 생성한 합성 문서와 인간이 생성한 응답을 사용하는 것의 효과를 평가한다. ChatGPT-RetrievalQA 데이터셋을 제작하고, LLM이 생성한 데이터로 미세조정된 모델이 제로샷 설정에서 인간이 훈련한 모델보다 우수한 성능을 보이며, 인간이 훈련한 모델은 감독 설정에서 여전히 뛰어난 성능을 보임을 발견하였다. 이는 LLM이 자원이 부족한 상황에서 데이터 증강에 유용할 수 있음을 시사한다.

ABSTRACT

We investigate the usefulness of generative Large Language Models (LLMs) in generating training data for cross-encoder re-rankers in a novel direction: generating synthetic documents instead of synthetic queries. We introduce a new dataset, ChatGPT-RetrievalQA, and compare the effectiveness of models fine-tuned on LLM-generated and human-generated data. Data generated with generative LLMs can be used to augment training data, especially in domains with smaller amounts of labeled data. We build ChatGPT-RetrievalQA based on an existing dataset, human ChatGPT Comparison Corpus (HC3), consisting of public question collections with human responses and answers from ChatGPT. We fine-tune a range of cross-encoder re-rankers on either human-generated or ChatGPT-generated data. Our evaluation on MS MARCO DEV, TREC DL'19, and TREC DL'20 demonstrates that cross-encoder re-ranking models trained on ChatGPT responses are statistically significantly more effective zero-shot re-rankers than those trained on human responses. In a supervised setting, the human-trained re-rankers outperform the LLM-trained re-rankers. Our novel findings suggest that generative LLMs have high potential in generating training data for neural retrieval models. Further work is needed to determine the effect of factually wrong information in the generated responses and test our findings' generalizability with open-source LLMs. We release our data, code, and cross-encoders checkpoints for future work.

연구 동기 및 목표

• 생성형 LLM인 ChatGPT가 크로스엔코더 재정렬 모델을 훈련시키기 위한 고품질의 합성 문서를 생성할 수 있는지 조사하기 위해.
• 감독 학습 및 제로샷 설정에서 ChatGPT가 생성한 응답과 인간이 생성한 응답으로 미세조정된 크로스엔코더 모델의 성능을 비교하기 위해.
• 특수 분야인 의학과 같은 전문 분야에서 LLM이 생성한 데이터의 효과성에 대한 도메인 의존성을 평가하기 위해.
• 라벨이 부여된 인간의 응답이 부족한 상황에서 LLM이 생성한 응답을 사용해 훈련 데이터를 보완할 수 있는지 가능성 평가하기 위해.
• 향후 검색 및 LLM 기반 데이터 증강 연구를 지원하기 위해 새로운 데이터셋인 ChatGPT-RetrievalQA를 공개하기 위해.

제안 방법

• 저자들은 HC3 데이터셋에서 쿼리와 응답을 추출하여 ChatGPT-RetrievalQA 데이터셋을 구축하였으며, 이 데이터셋에는 인간과 ChatGPT가 생성한 답변이 모두 포함되어 있다.
• 크로스엔코더 재정렬 모델은 두 가지 데이터 분할로 미세조정되었는데, 하나는 인간이 생성한 응답을, 다른 하나는 ChatGPT가 생성한 응답을 사용하였다.
• 모델들은 MS MARCO Dev, TREC DL’19, TREC DL’20 벤치마크에서 감독 학습 및 제로샷 설정 모두에서 평가되었다.
• BM25를 기준선으로 사용하여 훈련, 검증, 테스트 세트에서 인간과 ChatGPT가 생성한 응답 간의 검색 효과성을 비교하였다.
• 성능 차이의 잠재적 원인을 이해하기 위해 쿼리와 응답 간의 어휘 일치도를 분석하였다.
• 제로샷 시나리오를 시뮬레이션하여, 모델들이 이전에 본 쿼리는 있지만 인간이 생성한 문서는 본 적이 없는 상황에서 테스트하였으며, 일반화 능력을 평가하였다.

Figure 1. Our main experimental setup involves above steps.

실험 결과

연구 질문

• RQ1 감독 학습 및 제로샷 설정에서, ChatGPT가 생성한 응답으로 미세조정된 크로스엔코더 재정렬 모델의 성능은 인간이 생성한 응답으로 미세조정된 모델보다 어떻게 다른가?
• RQ2 특정 도메인과 일반 도메인 간에 ChatGPT가 관련 문서를 생성하는 데서의 성능 차이는 어떻게 다른가?
• RQ3 쿼리와 응답 간의 어휘 일치도가 인간이 생성한 응답과 LLM이 생성한 응답의 검색 성능에 얼마나 영향을 미치는가?
• RQ4 라벨이 부여된 인간의 응답이 제한된 저자원 환경에서 LLM이 생성한 합성 문서가 효과적으로 훈련 데이터를 보완할 수 있는가?

주요 결과

• 제로샷 설정에서, ChatGPT가 생성한 응답으로 미세조정된 크로스엔코더 모델은 MS MARCO Dev, TREC DL’19, TREC DL’20에서 인간 응답으로 미세조정된 모델보다 유의미하게 뛰어난 성능을 보였다.
• MS MARCO Dev 세트에서, ChatGPT 응답으로 미세조정된 MiniLM 모델의 NDCG@10 점수는 0.388이었고, BM25의 0.202보다 높아, 인간이 생성한 문서에 대한 일반화 능력이 뛰어나다는 것을 시사한다.
• 감독 학습 설정에서는 인간이 훈련한 재정렬 모델이 약간 더 뛰어난 성능을 보였으며, MiniLM 인간 모델이 MiniLM ChatGPT 모델보다 높은 NDCG@10 점수를 기록하였다.
• ChatGPT가 생성한 응답은 쿼리와 평균 34.6%의 어휘 일치도를 보였고, 인간 응답은 25.5%였으며, 이는 검색에 유리한 높은 어휘 일致성을 의미한다.
• 모든 분할에서 BM25의 검색 성능은 인간이 생성한 응답에서 ChatGPT가 생성한 응답보다 항상 낮았으며, 이는 인간 응답이 쿼리와 일치하기 더 어려운 것으로 나타났다.
• 이 연구는 라벨가능한 인간 데이터가 부족한 상황에서 LLM이 생성한 데이터가 효과적인 제로샷 재정렬 모델 훈련을 위한 실질적인 대안가능성을 입증하였다.