[논문 리뷰] Describing Differences between Text Distributions with Natural Language

Ruiqi Zhong, Charlie Snell외 2명|arXiv (Cornell University)|2022. 01. 28.

Topic Modeling인용 수 8

한 줄 요약

이 논문은 자연어 가설을 활용하여 두 텍스트 분포 간의 차이를 자동으로 기술하는 방법을 제안한다. 이는 미세튜닝된 GPT-3와 학습된 검증기로 후보 기술문을 순위 매기는 방식이다. 이 방법은 54개의 작업으로 구성된 벤치마크에서 인간 애너테이션과 유사한 기술문을 76%의 정확도로 생성하며, 제로샷 GPT-3보다 유의하게 뛰어난 성능을 보인다.

ABSTRACT

How do two distributions of texts differ? Humans are slow at answering this, since discovering patterns might require tediously reading through hundreds of samples. We propose to automatically summarize the differences by "learning a natural language hypothesis": given two distributions $D_{0}$ and $D_{1}$, we search for a description that is more often true for $D_{1}$, e.g., "is military-related." To tackle this problem, we fine-tune GPT-3 to propose descriptions with the prompt: "[samples of $D_{0}$] + [samples of $D_{1}$] + the difference between them is_____." We then re-rank the descriptions by checking how often they hold on a larger set of samples with a learned verifier. On a benchmark of 54 real-world binary classification tasks, while GPT-3 Curie (13B) only generates a description similar to human annotation 7% of the time, the performance reaches 61% with fine-tuning and re-ranking, and our best system using GPT-3 Davinci (175B) reaches 76%. We apply our system to describe distribution shifts, debug dataset shortcuts, summarize unknown tasks, and label text clusters, and present analyses based on automatically generated descriptions.

연구 동기 및 목표

• 학습/검증 데이터 분할 또는 시간적 이동과 같은 두 텍스트 분포를 구분하는 자연어 기술을 자동으로 발견하는 것.
• 수천 개의 텍스트 샘플을 수작업으로 검토하여 분포 차이를 탐지하는 데 인간이 수행하기 어려운 과제를 해결하는 것.
• 더 높은 품질의 가설 생성을 위해 제로샷 LLM 프롬프팅을 개선하기 위해 미세튜닝과 학습된 검증기를 통한 재순위 매기기를 도입하는 것.
• 실제 NLP 데이터셋, 분포 이동 탐지, 데이터셋 단서 식별과 같은 실제 작업에서 방법을 검증하는 것.
• 자연어 요약을 통해 모델 행동, 데이터 편향, 변화하는 텍스트 추세를 해석 가능하고 인간이 이해할 수 있는 방식으로 분석할 수 있도록 하는 것.

제안 방법

• GPT-3(Davinci, 175B)를 자연어 기술 제안 능력을 향상시키기 위해 새로운 데이터셋의 가설 생성 예제로 미세튜닝한다.
• 프롬프트 기반 접근 방식을 사용: [D₀ 샘플] + [D₁ 샘플] + '그들 사이의 차이는'을 통해 GPT-3에서 후보 가설을 생성한다.
• D₀ 및 D₁의 더 큰 샘플 세트에서 각 가설이 얼마나 자주 성립하는지 평가하는 학습된 검증기를 사용해 후보 가설을 재순위 매긴다.
• 다양한 작업에 프레임워크를 적용: 모델 활성화 촉진자 식별, 데이터셋 단서 탐지, 텍스트 클러스터 요약, 분포 이동 분석.
• 인간의 판단과 일치하도록 커뮤니티워커들의 다수결 투표를 기반으로 가설 의미를 정의하는 확률적 프레임워크를 사용한다.
• 세 단계로 구성된 데이터 수집 파이프라인을 활용: (1) 가설 정제, (2) GPT-3로 양/음성 예제 생성, (3) 인간 애너테이션을 통해 필터링 및 검증

실험 결과

연구 질문

• RQ1 미세튜닝 및 재순위 매기기가 적용된 대규모 언어 모델이 두 텍스트 분포 간의 차이를 정확하게 기술하는 자연어 기술을 생성할 수 있는가?
• RQ2 제안된 방법은 음성 또는 하이퍼링크 상관관계와 같은 알려진 데이터셋 단서를 얼마나 효과적으로 식별할 수 있는가?
• RQ3 이 시스템은 이진 텍스트 분류 작업에서 양성 클래스 특성에 대한 인간 애너테이션 기술을 어느 정도 복원할 수 있는가?
• RQ4 실제 NLP 데이터셋에서 시간 또는 데이터 분할 간의 의미 있는 분포 이동을 탐지하고 기술할 수 있는가?
• RQ5 모델 해석 가능성, 편향 탐지, 클러스터 요약과 같은 다양한 응용 분야에서 이 방법은 어떻게 스케일링되는가?

주요 결과

• 제안된 방법은 GPT-3 Davinci(175B)를 미세튜닝하고 재순위 매기기하여 54개의 실제 이진 분류 작업으로 구성된 벤치마크에서 인간 애너테이션과 유사한 기술문을 76%의 정확도로 생성한다.
• 제로샷 GPT-3 Curie(13B)는 인간 애너테이션과 유사한 기술문을 오직 7%의 비율로 생성하며, 이는 미세튜닝과 검증의 필요성을 강조한다.
• 시스템은 MNLI에서 부정과 모순 클래스 간의 비의도적인 상관관계나 SMS 스팸 데이터셋에서 하이퍼링크와 스팸 간의 상관관계와 같은 알려진 데이터셋 단서를 성공적으로 재발견했다.
• 시스템은 SUBJ 데이터셋이 영화 리뷰와 스토리 줄거리 간의 대조를 기반으로 구성되어 있음을 정확히 식별했으며, 이는 최근 논문의 다수에서 간과된 사실이다.
• 이 방법은 모델 행동 분석을 해석 가능하게 만들며, 예를 들어 특정 뉴런을 활성화시키는 입력을 식별하는 데 기여한다.
• 프레임워크는 요약, 분포 이동 탐지, 모델 편향 디버깅 등 다양한 응용 분야로 일반화된다.