[논문 리뷰] DQI: Measuring Data Quality in NLP

Swaroop Mishra, Anjana Arunkumar외 3명|arXiv (Cornell University)|2020. 05. 02.

Topic Modeling참고 문헌 76인용 수 7

한 줄 요약

이 논문은 데이터 생성 과정에서 임의의 편향을 식별하고 제거함으로써 NLP 데이터셋 품질을 측정하고 향상시키기 위한 일반적인 공식인 데이터 품질 지수(DQI)를 소개한다. DQI를 적대적 필터링(AFLite), 시각화 도구, 자동화(텍스트푸러, 오토픽스)와 함께 사용하여 SNLI 데이터셋을 개선함으로써, 원래 벤치마크에서의 성능은 감소했지만 분포 외 작업으로의 일반화 능력은 향상된 모델을 도출한다.

ABSTRACT

Neural language models have achieved human level performance across several NLP datasets. However, recent studies have shown that these models are not truly learning the desired task; rather, their high performance is attributed to overfitting using spurious biases, which suggests that the capabilities of AI systems have been over-estimated. We introduce a generic formula for Data Quality Index (DQI) to help dataset creators create datasets free of such unwanted biases. We evaluate this formula using a recently proposed approach for adversarial filtering, AFLite. We propose a new data creation paradigm using DQI to create higher quality data. The data creation paradigm consists of several data visualizations to help data creators (i) understand the quality of data and (ii) visualize the impact of the created data instance on the overall quality. It also has a couple of automation methods to (i) assist data creators and (ii) make the model more robust to adversarial attacks. We use DQI along with these automation methods to renovate biased examples in SNLI. We show that models trained on the renovated SNLI dataset generalize better to out of distribution tasks. Renovation results in reduced model performance, exposing a large gap with respect to human performance. DQI systematically helps in creating harder benchmarks using active learning. Our work takes the process of dynamic dataset creation forward, wherein datasets evolve together with the evolving state of the art, therefore serving as a means of benchmarking the true progress of AI.

연구 동기 및 목표

• NLP 데이터셋 내 임의의 편향으로 인한 인공지능 능력의 과대평가 문제를 해결하기 위해.
• 후행 수정이 아닌 데이터 생성 단계에서 편향을 사전에 방지할 수 있는 능동적 방법을 개발하기 위해.
• 체계적으로 데이터 품질을 향상시킴으로써 진정된 인공지능 발전을 반영하는 동적이고 진화하는 벤치마크 프레임워크를 구축하기 위해.
• 주도 학습과 데이터 재편집을 통해 더 어려운, 편향이 없는 벤치마크를 생성함으로써 모델의 일반화 능력을 향상시키기 위해.
• 정적 데이터셋을 넘어서 품질 모니터링과 실시간 피드백을 통합하여 데이터 생성 과정을 지속적으로 확장하기 위해.

제안 방법

• 기존 문헌에서 도출된 편향 지표를 바탕으로 일반적인 DQI 공식을 제안하며, 어휘, 문법, 의미적 특성 등의 다중 구성 요소를 통해 데이터 품질을 측정한다.
• SNLI 테스트 세트에서 편향된 예시를 식별하고 제거하기 위해 AFLite를 사용하여 적대적 필터링을 수행함으로써 DQI의 효과성을 검증한다.
• 분석가가 데이터 품질과 새로운 샘플이 데이터셋에 미치는 영향을 평가할 수 있도록 상호작용 가능한 시각화 도구를 통합한 데이터 생성 패러다임을 제안한다.
• 오토픽스를 활용해 현장에서 커뮤니티 워커들이 실시간으로 더 높은 품질의 데이터를 생성함으로써 원천에서 편향을 줄인다.
• 텍스트푸러를 적용하여 저품질 데이터를 드러내는 적대적 예시를 생성함으로써 대상별 수리가 가능하게 한다.
• 재편집된 SNLI 데이터셋을 기반으로 BERT와 RoBERTa를 재학습하여 분포 외 작업에서의 일반화 향상 여부를 평가한다.

실험 결과

연구 질문

• RQ1 일반적이고 구성 요소 기반의 데이터 품질 지수(DQI)는 데이터 생성 단계에서 다양한 종류의 임의의 편향을 효과적으로 측정하고 감소시키는 데 유용한가?
• RQ2 DQI를 적대적 필터링(AFLite)과 통합함으로써 데이터 품질과 모델의 일반화 능력은 어떻게 향상되는가?
• RQ3 시각화 및 자동화 도구(오토픽스, 텍스트푸러)의 통합은 공동 작업 기반 데이터 생성 과정에서 데이터 품질을 얼마나 향상시키는가?
• RQ4 DQI를 활용해 SNLI와 같은 벤치마크 데이터셋을 재편집하면 분포 외 데이터에서 모델의 일반화 능력이 향상되는가?
• RQ5 DQI를 주도 학습 환경에 통합하여 점차 더 어려운 벤치마크의 계층을 생성함으로써 진정된 인공지능 발전을 반영할 수 있는가?

주요 결과

• DQI 공식은 어휘, 문법, 의미적 아티팩트 등 다양한 종류의 임의의 편향을 효과적으로 식별하고 측정할 수 있다.
• DQI를 AFLite와 함께 적용함으로써 SNLI 테스트 세트에서 편향된 예시를 성공적으로 필터링하였으며, 이는 지수의 알려진 편향 패턴에 대한 민감도를 검증한 것이다.
• 시각화 도구와 자동화 도구(오토픽스, 텍스트푸러)의 통합은 분석가와 공동 작업자들이 실시간으로 저품질 데이터를 탐지하고 수정할 수 있도록 한다.
• 재편집된 SNLI 데이터셋을 기반으로 BERT와 RoBERTa를 재학습한 결과, 원래 테스트 세트에서의 성능은 낮아졌지만 분포 외 벤치마크에서의 일반화 능력은 향상되었다.
• 재편집된 데이터셋은 모델과 인간 간의 성능 격차가 뚜렷하게 드러내어 기존 벤치마크가 모델 능력을 과대평가하고 있음을 시사한다.
• DQI 기반 데이터 생성 패러다임은 주도 학습을 통해 점차 더 어려운 벤치마크의 시리즈를 생성할 수 있으며, 이는 진정된 인공지능 발전을 반영한다.