[논문 리뷰] Can Foundation Models Wrangle Your Data?

Avanika Narayan, Ines Chami외 3명|arXiv (Cornell University)|2022. 05. 20.

Data Quality and Management인용 수 6

한 줄 요약

이 논문은 대규모 기초 모델(FM)이 작업 전용 미세조정 없이 자연어 프롬프팅만으로 데이터 정제 및 통합 작업—예를 들어 엔티티 매칭 및 스키마 정렬—을 수행할 수 있는지 조사한다. 이는 GPT-3가 이러한 작업에서 제로샷 또는 희소샷 프롬프팅을 통해 미세조정 없이도 최신 기술 수준의 성능을 달성함으로써, 구조화된 데이터에 대해 명시적인 훈련을 받지 않았음에도 강력한 제로샷 일반화 능력을 보임을 보여준다.

ABSTRACT

Foundation Models (FMs) are models trained on large corpora of data that, at very large scale, can generalize to new tasks without any task-specific finetuning. As these models continue to grow in size, innovations continue to push the boundaries of what these models can do on language and image tasks. This paper aims to understand an underexplored area of FMs: classical data tasks like cleaning and integration. As a proof-of-concept, we cast five data cleaning and integration tasks as prompting tasks and evaluate the performance of FMs on these tasks. We find that large FMs generalize and achieve SoTA performance on data cleaning and integration tasks, even though they are not trained for these data tasks. We identify specific research challenges and opportunities that these models present, including challenges with private and domain specific data, and opportunities to make data management systems more accessible to non-experts. We make our code and experiments publicly available at: https://github.com/HazyResearch/fm_data_tasks.

연구 동기 및 목표

• 작업 전용 미세조정 없이 기초 모델이 데이터 정제 및 통합과 같은 고전적 데이터 관리 작업에 일반화할 수 있는지 조사하기 위해.
• 자연어 프롬프팅을 다양한 데이터 작업을 위한 통합 인터페이스로 사용할 수 있는지 평가하기 위해.
• 구조화된 데이터 워크플로우에 기초 모델을 적용할 때의 주요 과제와 기회를 규명하기 위해.
• 데이터 관리 시스템에서 레이블 데이터, 하드코딩된 규칙, 작업 전용 아키텍처에 대한 의존도를 줄이는 데 기초 모델이 수행하는 역할을 평가하기 위해.

제안 방법

• 엔티티 매칭 및 스키마 정렬과 같은 다섯 가지 데이터 정제 및 통합 작업을 자연어 프롬프팅 작업으로 변환하기 위해.
• 기초 모델로 GPT-3를 사용하여 제로샷 및 희소샷 프롬프팅을 적용하여 구조화된 데이터 입력에 대한 답변을 유추하기 위해.
• 구조화된 데이터(예: 테이블의 행들)를 직렬화된 텍스트 프롬프트로 표현하여 언어 모델의 추론을 가능하게 하기 위해.
• 표준 메트릭(예: F1 및 정확도)을 사용하여 벤치마크 데이터셋에서 모델 성능을 평가하기 위해.
• 정확도 및 내구성을 향상시키기 위해 프롬프트 엔지니어링 기법, 예를 들어 프롬프트 앙상블 및 재구성 기법을 탐색하기 위해.
• 불확실성 추정 및 체인 오브 톰(Chain-of-Thought) 프롬프팅을 통해 모델 행동을 분석하여 해석 가능성 향상하기 위해.

실험 결과

연구 질문

• RQ1 기초 모델이 작업 전용 미세조정 없이도 데이터 정제 및 통합 작업에 일반화할 수 있는가?
• RQ2 자연어 기반 설명을 사용해 프롬프팅했을 때 기초 모델이 구조화된 데이터 작업에서 얼마나 잘 수행되는가?
• RQ3 도메인 특화 및 개인정보 민감도가 높은 데이터 워크로드에 기초 모델을 적용할 때의 주요 과제는 무엇인가?
• RQ4 프롬프트 엔지니어링 및 자동화 기법이 기초 모델의 데이터 작업에서의 신뢰성과 성능을 향상시킬 수 있는가?
• RQ5 기초 모델이 데이터 관리 파이프라인에서 레이블 데이터, 하드코딩된 규칙, 작업 전용 아키텍처에 대한 필요성을 얼마나 줄일 수 있는가?

주요 결과

• GPT-3는 작업 전용 미세조정 없이도 제로샷 또는 희소샷 프롬프팅만으로 여러 데이터 정제 및 통합 작업에서 최신 기술 수준의 성능을 달성한다.
• 모델는 다양한 데이터 스키마와 형식 간에 효과적으로 일반화되며, 구조화된 데이터에 대해 명시적인 훈련을 받지 않았음에도 강력한 제로샷 일반화 능력을 보인다.
• 기초 모델은 숫자, 알파숫자 및 날짜 기반 값에 대해 잠재적인 추론 능력을 보이며, 이러한 토큰들이 자연어 코퍼스에서 빈도가 낮기 때문에 더욱 놀라운 일이다.
• 프롬프트 엔지니어링 및 앙상블 기법이 어려운 데이터 작업에서 모델의 내구성과 정확도를 크게 향상시킨다.
• 이 접근법은 레이블 데이터 및 작업 전용 아키텍처에 대한 의존도를 줄이며, 다양한 데이터 관리 작업을 위한 통합 인터페이스를 제공한다.
• 강력한 성능에도 불구하고 도메인 특이성 및 데이터 프라이버시 문제에 도전 과제가 남아 있으며, 특히 민감한 데이터를 다룰 때 폐쇄형 API를 사용할 경우 더욱 그렇다.