[논문 리뷰] Understanding Dataset Difficulty with $\mathcal{V}$-Usable Information

Kawin Ethayarajh, Yejin Choi외 1명|arXiv (Cornell University)|2021. 10. 16.

Topic Modeling인용 수 4

한 줄 요약

이 논문은 특정 모델 $Π$에 대해 데이터셋의 어려움을 측정하기 위해 $Π$-사용가능 정보를 사용하는 정보이론적 프레임워크를 제안한다. 점별 $Π$-정보(pvi)는 개별 인스턴스 수준의 어려움 추정을 가능하게 하며, 낮은 $Π$-사용가능 정보가 높은 모델 어려움과 관련이 있음을 밝히고, SNLI, CoLA 및 혐오 발언 데이터셋과 같은 주요 NLP 벤치마크에서의 애너테이션 오류(예: 잘못 레이블링된 인스턴스, 최소한의 어휘적 단서에 대한 과도한 의존성)를 규명한다.

ABSTRACT

Estimating the difficulty of a dataset typically involves comparing state-of-the-art models to humans; the bigger the performance gap, the harder the dataset is said to be. However, this comparison provides little understanding of how difficult each instance in a given distribution is, or what attributes make the dataset difficult for a given model. To address these questions, we frame dataset difficulty -- w.r.t. a model $\mathcal{V}$ -- as the lack of $\mathcal{V}$-$ extit{usable information}$ (Xu et al., 2019), where a lower value indicates a more difficult dataset for $\mathcal{V}$. We further introduce $ extit{pointwise $\mathcal{V}$-information}$ (PVI) for measuring the difficulty of individual instances w.r.t. a given distribution. While standard evaluation metrics typically only compare different models for the same dataset, $\mathcal{V}$-$ extit{usable information}$ and PVI also permit the converse: for a given model $\mathcal{V}$, we can compare different datasets, as well as different instances/slices of the same dataset. Furthermore, our framework allows for the interpretability of different input attributes via transformations of the input, which we use to discover annotation artefacts in widely-used NLP benchmarks.

연구 동기 및 목표

• 표준 데이터셋 어려움 평가 방식이 인간-모델 성능 격차의 집합적 측정에만 의존하는 해석 불가능성 문제를 해결하기 위해.
• 모델이 입력에서 실제로 사용할 수 있는 정보의 양을 정량화하는 모델 특화의 어려움 측정 지표를 개발하기 위해.
• 광범위하게 사용되는 NLP 벤치마크에서 숨겨진 편향과 애너테이션 오류를 드러내기 위해 개별 인스턴스와 데이터 슬라이스에 대한 세분화된 분석을 가능하게 하기 위해.
• 불확실성 기반 또는 IRT 기반의 어려움 평가에 대한 안정적이고 해석 가능하며 계산적으로 타당한 대안을 제공하기 위해.

제안 방법

• 모델 제약 조건 하에서 추출 가능한 정보를 측정하는 예측 $Π$-정보($I_{Π}(X\to Y)$)를 정의함으로써, 데이터셋 어려움을 $Π$-사용가능 정보의 부족으로 공식화한다.
• 모델의 개별 입력에 대한 예측 능력에서 유도된 개별 인스턴스 수준의 어려움 측정 지표인 점별 $Π$-정보(pvi)를 도입한다.
• 입력 변환(예: 단어 섞기, 동의어 교체)을 통해 특정 입력 속성이 $Π$-사용가능 정보에 기여하는 정도를 분리한다.
• 다양한 모델, 학습 시드, 학습 단계에서 pvi 값을 비교하여 안정성과 인간 평가와의 상관관계를 검증한다.
• 입력 속성의 조작 후 $Π$-사용가능 정보의 변화를 측정함으로써 애너테이션 오류 탐지를 위해 프레임워크를 적용한다.
• 동일한 모델 하에서 데이터셋과 슬라이스를 비교함으로써 교차 데이터셋 어려움 분석이 가능하도록 한다.

실험 결과

연구 질문

• RQ1 특정 모델 $Π$가 실제로 사용할 수 있는 정보의 가용성 반영이 가능한 방식으로 데이터셋 어려움을 공식화할 수 있는가?
• RQ2 점별 $Π$-정보(pvi)가 인간 애너테이션 기반 어려움과 모델 예측 정확도와 얼마나 높은 상관관계를 가지는가?
• RQ3 어떤 입력 속성이 특정 모델에 대해 주어진 데이터셋에서 정보의 가용성에 가장 큰 기여를 하는가?
• RQ4 NLP 벤치마크에서 체계적인 애너테이션 오류를 $Π$-사용가능 정보를 통해 어떻게 탐지할 수 있는가?

주요 결과

• Stanford NLI(SNLI) 데이터셋은 MultiNLI와 CoLA보다 BERT-사용가능 정보가 훨씬 많으며, 이는 BERT가 SNLI에서 뛰어난 성능을 내는 데 기인한다.
• 다양한 모델, 학습 시드, 학습 시간에 걸쳐 pvi 값은 매우 높은 상관관계(r ≥ 0.75, 피어슨 상관계수)를 보이며 안정성과 신뢰성을 입증한다.
• 낮은 pvi 값을 가진 인스턴스는 낮은 애너테이터 간 일치도와 낮은 모델 예측 정확도를 보이며, pvi가 어려움의 대체 지표임을 검증한다.
• SNLI에서 단어 순서는 BERT-사용가능 정보에 거의 영향을 주지 않으며, 이는 모델이 의미적 구조보다 얕은 단서에 의존할 수 있음을 시사한다.
• CoLA에서 가장 어려운 일부 인스턴스는 낮은 pvi와 높은 모델 불확실성으로 인해 잘못 레이블링된 것으로 나타났다.
• 혐오 발언 탐지 데이터셋에서 단지 50개의 잠재적으로 공격적인 단어가 BERT-사용가능 정보의 대부분을 차지하며, 이는 숨겨진 편향의 위험을 시사한다.