[논문 리뷰] Self-QA: Unsupervised Knowledge Guided Language Model Alignment

Xuanyu Zhang, Qing Yang|arXiv (Cornell University)|2023. 05. 19.

Topic Modeling인용 수 5

한 줄 요약

Self-QA는 인간이 작성한 시드 데이터 대신 대규모 비지도 지식을 활용하여 도메인 특화 지시 트레이닝 데이터를 자동으로 생성하는 비지도 프레임워크를 제안한다. 두 단계의 지식 기반 지시 생성 및 기계 독해 이해를 통해 정확하고 다양한, 형식이 올바른 질문-답변 쌍을 생성함으로써 인간의 주석 작업을 크게 줄이고 도메인 특화 작업에서 모델 성능을 향상시킨다.

ABSTRACT

Large-scale language models like ChatGPT and GPT-4 have gained attention for their impressive conversational and generative capabilities. However, the creation of supervised paired question-answering data for instruction tuning presents formidable challenges. This endeavor necessitates substantial human effort for data annotation and wrestles with issues concerning data quality, diversity, accuracy, and other related factors. To overcome these obstacles, we introduce an innovative framework named Self-QA, which replaces the traditional practice of human-written instruction seeds with a vast amount of unsupervised knowledge, enabling the model to generate a larger quantity of correct and domain-specific instruction data. The effectiveness of our proposed method is demonstrated through experiments conducted on unsupervised corpora from various domains.

연구 동기 및 목표

• 대규모 언어 모델을 위한 인간 주석 기반 지시 트레이닝 데이터의 높은 비용과 확장성 한계를 해결하기 위해.
• 이전의 자가 정렬 방법에서 사용하는 소규모 인간 작성 지시 시드에 의존하는 것을 제거하기 위해.
• 비지도 지식 소스를 활용하여 다양하고 정확하며 도메인 특화된 지시 데이터를 생성하기 위해.
• 구조화된 및 비구조화된 비지도 코퍼스를 활용하여 지시 트레이닝된 모델의 정확성과 신뢰성을 향상시키기 위해.
• 형식의 정확성과 콘텐츠 무결성을 유지하면서도 엔드 투 엔드로 확장 가능한 지시 데이터 생성을 가능하게 하기 위해.

제안 방법

• 지시 생성의 주요 지식 소스로 구조화된 및 비구조화된 비지도 코퍼스를 사용한다.
• 두 단계의 파이프라인을 적용한다: 첫 번째 단계에서는 지식에서 지시 수용 프롬프트를 생성하고, 두 번째 단계에서는 기계 독해 이해를 통해 답변을 생성한다.
• 틀에 어긋나거나 잘못된, 파arse 불가능한 출력을 제거하기 위해 규칙 기반 히وري스틱과 후처리 필터를 적용한다.
• 자기 포함형 질문-답변 쌍을 보장하기 위해 모델이 대명사나 외부 참조를 피하도록 지시한다.
• 생성된 지시 데이터를 사용해 BLOOM-7B를 피지터링하여 도메인 특화 작업에서의 성능을 평가한다.
• 모델 내부에 파rametric 형태로 지식를 통합하여 외부 검색 시스템 없이도 엔드 투 엔드 학습이 가능하도록 한다.

Figure 1: The pipeline of Self-QA .

실험 결과

연구 질문

• RQ1 비지도 지식 소스가 자가 정렬 프레임워크에서 인간이 작성한 지시 시드를 효과적으로 대체할 수 있는가?
• RQ2 인간의 감독 없이도 자가 생성된 지시 데이터가 정확성과 도메인 특화성을 얼마나 잘 유지할 수 있는가?
• RQ3 지시 생성과 답변 생성을 두 단계로 나누는 프로세스가 단일 단계 생성 방식에 비해 출력 품질과 형식 준수 측면에서 어떤가?
• RQ4 생성된 지시 데이터가 도메인 특화 질문-답변 작업에서 피지터링된 모델의 성능을 향상시킬 수 있는가?
• RQ5 후처리 필터가 자가 생성된 지시 데이터의 신뢰성과 파arse 가능성 확보에 어떤 역할을 하는가?

주요 결과

• Self-QA는 비지도 지식에서 지시 트레이닝 데이터를 성공적으로 생성하여 인간이 작성한 시드가 필요 없어졌다.
• Self-QA에서 생성된 데이터로 피지터링된 모델은 도메인 특화 질문(예: DXM 설립 연도 및 본사 위치)에 정확하게 답하는 반면, ChatGPT는 잘못된 답변을 내놓는다.
• 후처리 필터는 형식 위반 및 의미적으로 잘못된 출력을 효과적으로 제거하여 데이터 품질을 향상시킨다.
• 두 단계 생성 프로세스는 단일 단계 대비 더 높은 품질, 더 정확하고 더 잘 포장된 지시-답변 쌍을 생성한다.
• 기존의 자가 정렬 접근 방식에 비해 더 높은 정확성과 다양성을 확보하면서도 확장 가능한 도메인 특화 지시 데이터 생성이 가능하다.
• 프레임워크는 파rametric 지식 통합이 외부 검색 시스템 없이도 신뢰할 수 있는 지시 트레이닝을 지원할 수 있음을 입증한다.

Figure 2: Examples of transformation of unsupervised structured data.