[논문 리뷰] Rissanen Data Analysis: Examining Dataset Characteristics via Description Length

Ethan Perez, Douwe Kiela외 1명|arXiv (Cornell University)|2021. 03. 05.

Natural Language Processing Techniques인용 수 12

한 줄 요약

이 논문은 Rissanen 데이터 분석(RDA)을 소개하며, 최소 기술 길이(MDL)를 사용하여 특정 데이터 능력(예: 하위질문 생성, 추론 과정, 단어 순서 등)이 데이터셋 레이블을 모델링하는 데 필요한 복잡성을 줄이는지 평가하는 이론적으로 탄탄한 방법을 제시한다. RDA는 이러한 능력이 실제로 기술 길이를 단축시킴을 보여주며, 모델 성능을 설명하는 데 기여하는 데이터셋의 내재된 특성을 드러낸다. 이는 HotpotQA 및 e-SNLI와 같은 다양한 NLP 벤치마크에서의 적용 가능성을 보여준다.

ABSTRACT

We introduce a method to determine if a certain capability helps to achieve an accurate model of given data. We view labels as being generated from the inputs by a program composed of subroutines with different capabilities, and we posit that a subroutine is useful if and only if the minimal program that invokes it is shorter than the one that does not. Since minimum program length is uncomputable, we instead estimate the labels' minimum description length (MDL) as a proxy, giving us a theoretically-grounded method for analyzing dataset characteristics. We call the method Rissanen Data Analysis (RDA) after the father of MDL, and we showcase its applicability on a wide variety of settings in NLP, ranging from evaluating the utility of generating subquestions before answering a question, to analyzing the value of rationales and explanations, to investigating the importance of different parts of speech, and uncovering dataset gender bias.

연구 동기 및 목표

• 특정 데이터 능력이 모델의 단순성과 정확도를 향상시키는지에 대한 이론적으로 타당한 평가 방법을 개발하는 것.
• 보류된 데이터에 대한 모델 성능이나 분포 변화에 의존하는 기존 데이터 분석 방법의 한계를 해결하는 것.
• 입력값에 기반해 레이블의 최소 기술 길이를 추정함으로써 데이터셋 특성을 직접 탐사하는 것.
• 하위질문 생성, 설명, 단어 순서와 같은 능력의 내재적 가치를 평가하는 것.
• 기술 길이 분석을 통해 숨겨진 데이터셋 편향과 구조적 종속성을 드러내는 것.

제안 방법

• RDA는 모델 성능을 입력값에 기반한 레이블 기술 길이를 최소화하는 것으로 프레임워크화하며, Kolmogorov 복잡도의 대체 측정치로 MDL를 사용한다.
• 블록 단위의 순차적 코딩을 활용해 MDL를 추정하며, 이는 입력값으로부터 레이블을 생성하는 가장 짧은 프로그램의 상한선을 제공한다.
• 특정 능력(예: 하위질문, 단어 순서)의 접근 여부에 따라 MDL를 비교함으로써 그 유용성을 판단한다.
• 해당 능력의 포함 여부가 레이블 시퀀스의 추정 MDL를 줄이는 경우, 그 능력은 유용한 것으로 간주된다.
• 비교 과정에서 동일한 학습 알고리즘을 사용함으로써 상대적인 MDL 값 간의 비교 가능성을 확보한다.
• 입력 변환에 따른 MDL 변화를 측정함으로써, 질문 응답, 텍스트 함의, 언어적 타당성 등 다양한 NLP 작업에 적용 가능하다.

실험 결과

연구 질문

• RQ1 하위질문 생성은 질문 응답 데이터셋에서 모델 단순성을 향상시키는 데 유용한 능력인가?
• RQ2 설명과 추론 과정은 텍스트 함의 작업에서 레이블의 기술 길이를 줄이는가?
• RQ3 다양한 NLP 작업 전반에서 단어 순서는 레이블 시퀀스를 압축하는 데 얼마나 기여하는가?
• RQ4 다양한 품사의 구성 요소는 레이블 시퀀스의 MDL를 얼마나 줄이는가?
• RQ5 데이터셋은 본질적으로 성별 편향을 내재하고 있는가? 그리고 MDL는 이러한 편향을 드러낼 수 있는가?

주요 결과

• HotpotQA에서 하위질문 생성은 MDL를 상당히 줄이며, 이는 이 능력이 본질적으로 유용함을 확인한다. 이는 이전의 성능 기반 평가가 이를 과소평가했을 가능성이 있다.
• e-SNLI에서 추론 과정과 설명 둘 다 MDL를 줄이지만, 추론 과정이 더 효과적이며, 이는 레이블 예측 단순화에 있어 그 역할이 더 강력함을 시사한다.
• 모든 작업에서 단어 순서가 MDL를 줄이는 데 기여한다: MNLI에서는 레이블 압축률을 베이스라인 대비 75%에서 50%로 줄였고, CoLA에서는 어떤 압축이 이루어지기 위해서도 단어 순서가 필수적이다.
• RDA는 일부 품사가 다른 품사보다 MDL 감소에 더 중요한 역할을 한다는 것을 드러내며, 기능어와 내용어의 기여도는 작업에 따라 다름을 보였다.
• 이 방법은 성별 편향이 데이터셋 구조에 내재되어 있음을 드러내며, 성별 어휘를 제거할 경우 MDL가 증가함을 확인함으로써 편향이 데이터의 압축 가능성의 일부임을 시사한다.
• RDA는 모델에 특화된 행동과는 독립적인 일관되고 내재된 데이터셋 복잡성 측정법을 제공하며, 모델 탐색 기반 접근법에 대한 강력한 대안을 제시한다.