[논문 리뷰] SynthBio: A Case Study in Human-AI Collaborative Curation of Text Datasets

Ann Yuan, Daphne Ippolito외 4명|arXiv (Cornell University)|2021. 11. 11.

Topic Modeling참고 문헌 55인용 수 8

한 줄 요약

이 논문은 대규모 언어 모델을 사용해 시드 생애사(생애기록)를 생성하고, 인간 평가자가 이를 편집하는 방식으로 고품질, 저노이즈 텍스트 데이터셋을 구성하는 새로운 인간-AI 협업 방법인 SynthBio를 소개한다. 최종적으로 4,692건의 허구 생애사를 포함한 데이터셋은 성별과 국적 측면에서 더 균형 잡혀 있고, 원천 속성에 더 충실하며, 실제 데이터보다 덜 유창하여, 암기 외의 지능적인 텍스트 생성을 평가하기 위한 강력한 도전 과제로 기능한다.

ABSTRACT

NLP researchers need more, higher-quality text datasets. Human-labeled datasets are expensive to collect, while datasets collected via automatic retrieval from the web such as WikiBio are noisy and can include undesired biases. Moreover, data sourced from the web is often included in datasets used to pretrain models, leading to inadvertent cross-contamination of training and test sets. In this work we introduce a novel method for efficient dataset curation: we use a large language model to provide seed generations to human raters, thereby changing dataset authoring from a writing task to an editing task. We use our method to curate SynthBio - a new evaluation set for WikiBio - composed of structured attribute lists describing fictional individuals, mapped to natural language biographies. We show that our dataset of fictional biographies is less noisy than WikiBio, and also more balanced with respect to gender and nationality.

연구 동기 및 목표

• 자연어 생성 작업을 위한 고품질, 저노이즈 텍스트 데이터셋의 부족 문제를 해결하기 위해.
• 사전 훈련된 모델의 데이터 오염 위험을 줄이기 위해 실제 세계 지식의 암기 없이도 가능한 합성 벤치마크를 만들기 위해.
• 성별, 국적, 유명도 유형 등의 표현을 의도적으로 제어함으로써 평가 데이터셋의 인구통계적 균형을 향상시키기 위해.
• 인간이 작성하는 것에서 인간이 편집하는 방식으로 전환되는, 확장 가능하고 효율적인 데이터 셋 정제 파이프라인을 개발하기 위해.
• 실제 데이터셋으로 훈련된 모델이 더 다양한, 제어 가능한 분포로 일반화하는지 평가하기 위해.

제안 방법

• 허구의 개인을 묘사하는 구조화된 인포박스에서 대규모 언어 모델을 활용해 생애사 초안을 생성한다.
• 인간 평가자가 LLM이 생성한 생애사를 편집하고 개선함으로써 전면 작성에서 타겟된 수정으로 부담을 줄인다.
• 성별, 국적, 직업 등과 같은 제어 가능한 속성을 설계하여 사회적 정체성에 걸쳐 균형 잡힌 표현을 확보한다.
• 엄격한 품질 관리 적용: 평가자는 2분 이내로 수정이 불가능한 생애사를 기각하도록 지시받았으며, 극단적인 케이스는 저자들이 재검토하였다.
• 먼저 유명도 유형을 선정하고, 그 다음 스키마에서 속성을 샘플링한 후, LLM을 사용해 텍스트를 생성하고 개선하는 파이프라인을 통해 데이터셋을 구성한다.
• GPT-2 퍼플렉서티와 어휘 다양성(Div-2)을 사용해 최종 데이터셋의 유창성과 어휘 다양성을 정량화한다.

실험 결과

연구 질문

• RQ1 LLM이 생성한 시드를 활용한 인간-AI 협업 방식이 고품질 텍스트 데이터셋을 정제하는 데 시간과 비용을 크게 줄일 수 있는가?
• RQ2 통제된 인구통계적 속성을 가진 합성 데이터셋이 실제 세계 데이터셋보다 더 균형 잡히고 편향이 적은 평가 결과를 도출하는가?
• RQ3 WikiBio와 같은 실제 데이터셋으로 훈련된 모델이 SynthBio와 같이 더 균형 잡힌 합성 벤치마크로 일반화하는 정도는 어느 정도인가?
• RQ4 실제 데이터셋과 합성 데이터셋 간에 생애사가 원천 인포박스에 얼마나 충실한가를 비교하면 어떻게 되는가?
• RQ5 합성 데이터에서 나타나는 공정성 문제, 특히 비이원성 정체성의 표현과 성별 중립적 대명사 일관성에 대해 어떤 문제가 드러나는가?

주요 결과

• SynthBio는 2,249건의 허구 인포박스를 4,692건의 생애사로 매핑하며, 평균 2.1건의 생애사가 각 인포박스에 할당되어 실제 데이터셋에 비해 중복성이 크게 감소하였다.
• 최종 데이터셋은 성별 중립적 대명사(they/them)를 16.2% 포함하고 있으며, 원본 WikiBio의 2%에 비해 더 높은 포괄성 수준을 보였다.
• SynthBio 생애사는 GPT-2 퍼플렉서티 112.0(낮을수록 더 유창함)을 기록했고, WikiBio의 97.7과 비교해 약간 낮은 유창성이나 더 높은 원천 속성 충실도를 보였다.
• 인간 평가 결과, SynthBio 생애사는 WikiBio보다 원천 인포박스에 더 충실했으며, 동시에 비슷한 수준의 유창성을 유지했다.
• WikiBio로 훈련된 모델은 SynthBio에서 유의미하게 성능이 떨어졌으며, 이는 SynthBio가 더 도전적인, 분포 외 일반화 벤치마크를 반영하고 있음을 시사한다.
• 데이터셋은 공정성 문제를 드러내었으며, 비이원성 개인에 대한 대명사 사용의 일관성 부족과, 설계 의도에 비해 서양 기관과 국적의 과잉 표현이 있었다.