[논문 리뷰] Information-Theoretic Measures of Dataset Difficulty.

Kawin Ethayarajh, Yejin Choi외 1명|arXiv (Cornell University)|2021. 10. 16.

Machine Learning and Data Classification참고 문헌 48인용 수 6

한 줄 요약

이 논문은 정보이론적 프레임워크를 도입하여 사용 가능한 정보를 측정함으로써 데이터셋의 난이도를 측정하는 방법을 제안한다. 이를 위해 특정 모델에 대해 인스턴스 수준의 난이도를 평가하기 위해 점별 V-정보(PVI)를 제안한다. 이는 다양한 데이터셋과 모델 간의 비교를 가능하게 하며, 입력 조작 분석을 통해 벤치마크의 표준화 오류를 드러낸다.

ABSTRACT

Estimating the difficulty of a dataset typically involves comparing state-of-the-art models to humans; the bigger the performance gap, the harder the dataset is said to be. Not only is this framework informal, but it also provides little understanding of how difficult each instance is, or what attributes make it difficult for a given model. To address these problems, we propose an information-theoretic perspective, framing dataset difficulty as the absence of $ extit{usable information}$. Measuring usable information is as easy as measuring performance, but has certain theoretical advantages. While the latter only allows us to compare different models w.r.t the same dataset, the former also allows us to compare different datasets w.r.t the same model. We then introduce $ extit{pointwise}$ $\mathcal{V}-$$ extit{information}$ (PVI) for measuring the difficulty of individual instances, where instances with higher PVI are easier for model $\mathcal{V}$. By manipulating the input before measuring usable information, we can understand $ extit{why}$ a dataset is easy or difficult for a given model, which we use to discover annotation artefacts in widely-used benchmarks.

연구 동기 및 목표

• 모델과 인간 간의 성능 격차를 넘어서 데이터셋 난이도를 체계화하는 것. 기존 접근법은 해석 가능성이 낮고 세분화되지 않아서이다.
• 모델 성능 외에도 정보이론적 원칙을 활용해 개별 데이터 인스턴스의 난이도를 정량화하는 것.
• 사용 가능한 정보를 측정함으로써 다양한 데이터셋과 모델 간의 난이도 비교를 가능하게 하는 것.
• 입력 조작이 사용 가능한 정보에 어떻게 영향을 주는지 분석함으로써 특정 모델이 특정 데이터셋에서 어려움을 겪는 이유를 규명하는 것.
• 정보 흐름의 체계적 분석을 통해 널리 사용되는 벤치마크에서의 표준화 오류를 탐지하는 것.

제안 방법

• 사용 가능한 정보의 척도로 점별 V-정보(PVI)를 제안하며, 높은 PVI는 모델 V에게 더 쉬운 인스턴스를 의미한다.
• 사용 가능한 정보를 입력 특징 조건 하에 모델 예측과 정답 레이블 간의 상호정보량으로 정의한다.
• PVI를 사용해 높은 값이 더 예측 가능하고 따라서 난이도가 낮은 인스턴스를 포함해 개별 인스턴스를 난이도 순으로 정렬한다.
• 입력 변형(예: 마스킹, 셔플링)을 적용하여 정보 손실이 난이도 증가와 어떻게 관련되는지 평가한다.
• 동일한 PVI 프레임워크를 사용해 다양한 모델 간의 데이터셋 난이도 비교를 수행함으로써 모델 간의 난이도 평가가 가능하게 한다.
• 실제 벤치마크에 이 프레임워크를 적용하여 모델 성능 저하를 유발하는 숨겨진 표준화 오류를 발견한다.

실험 결과

연구 질문

• RQ1 정보이론적 원칙을 활용해 인스턴스 수준에서 데이터셋 난이도를 체계적으로 측정할 수 있는가?
• RQ2 어떤 데이터 인스턴스의 특성이 특정 모델에게 난이도를 유발하는가? 이러한 특성은 어떻게 정량화할 수 있는가?
• RQ3 다른 모델과 데이터셋 간의 비교가 가능한 방식으로 사용 가능한 정보를 측정할 수 있는가?
• RQ4 입력 조작은 사용 가능한 정보에 어떻게 영향을 주며, 그로 인해 느껴지는 데이터셋 난이도에 어떤 영향을 미치는가?
• RQ5 기존 벤치마크에서 이 정보이론적 시각을 통해 어떤 표준화 오류를 탐지할 수 있는가?

주요 결과

• PVI는 모델에게 더 예측 가능하고 따라서 난이도가 낮은 인스턴스를 성공적으로 식별한다. 높은 PVI 값은 더 예측 가능한 인스턴스를 의미한다.
• 이 프레임워크를 통해 다양한 모델 간의 데이터셋 난이도 비교가 의미 있게 가능해지며, 일부 데이터셋이 모델 아키텍처에 관계없이 본질적으로 더 어려운 것으로 드러난다.
• 토큰 마스킹이나 셔플링과 같은 입력 조작은 특히 높은 PVI를 가진 인스턴스에서 사용 가능한 정보를 크게 감소시켜 입력 구조에 대한 민감도를 보여준다.
• 이 방법은 표준화 오류(예: 단서 학습 패턴)를 탐지할 수 있으며, 일부 인스턴스에서 사용 가능한 정보가 낮아 모델이 부적절한 상관관계를 악용한다는 점을 드러낸다.
• 모델과 인간 간의 성능 격차가 큰 데이터셋은 일반적으로 사용 가능한 정보가 낮은 경우이며, 정보 부족과 난이도 사이의 관계를 확인한다.
• 이 프레임워크는 일부 인스턴스가 복잡성 때문이 아니라 낮은 표준화 품질이나 중복된 특성으로 인해 사용 가능한 정보가 줄어들어 난이도가 높아지는 것을 드러낸다.