[논문 리뷰] Automatic Construction of Evaluation Suites for Natural Language Generation Datasets

Simon Mille, Kaustubh Dhole외 6명|arXiv (Cornell University)|2021. 06. 16.

Topic Modeling참고 문헌 59인용 수 12

한 줄 요약

이 논문은 자연어 생성(NLG) 모델을 표준 i.i.d. 테스트 세트를 초월해 평가하기 위해 다양하고 언어학적으로 정보를 반영한 챌린지 세트를 자동으로 생성하는 프레임워크인 NL-Augmenter를 제안한다. GEM 벤치마크에 대해 제어된 변형과 부분집합 선택을 적용하여, 모델의 취약성, 희귀하거나 체계적인 입력 변화에 따른 성능 저하, 다양한 아키텍처와 데이터 분포에서의 모델 행동 분석을 가능하게 하는 80개의 챌린지 세트를 생성한다.

ABSTRACT

Machine learning approaches applied to NLP are often evaluated by summarizing their performance in a single number, for example accuracy. Since most test sets are constructed as an i.i.d. sample from the overall data, this approach overly simplifies the complexity of language and encourages overfitting to the head of the data distribution. As such, rare language phenomena or text about underrepresented groups are not equally included in the evaluation. To encourage more in-depth model analyses, researchers have proposed the use of multiple test sets, also called challenge sets, that assess specific capabilities of a model. In this paper, we develop a framework based on this idea which is able to generate controlled perturbations and identify subsets in text-to-scalar, text-to-text, or data-to-text settings. By applying this framework to the GEM generation benchmark, we propose an evaluation suite made of 80 challenge sets, demonstrate the kinds of analyses that it enables and shed light onto the limits of current generation models.

연구 동기 및 목표

• 표준 i.i.d. 테스트 세트의 한계를 해결하기 위해, 이는 모델의 일반화 능력을 과대평가하고 모델의 약점을 숨기기 때문이다.
• 텍스트-투-텍스트, 텍스트-투-스칼라, 데이터-투-텍스트 생성 작업을 위한 다각적이고 작업에 특화된 챌린지 세트를 자동 생성할 수 있는 확장 가능하고 프로그래머블 프레임워크를 개발하기 위해이다.
• 희귀 현상, 체계적인 입력 변형, 분포 이탈에 대한 성능 저하를 식별하여 깊이 있는 모델 분석을 가능하게 하기 위해이다.
• 언어 능력과 보호되는 특성과 연관된 하위집단과 변형을 통해 공정성 및 강건성 평가를 향상시키기 위해이다.
• 데이터셋 제작자와 연구자들이 재사용 가능하고 확장 가능한 평가 세트를 통해 비교 가능성과 투명성을 향상시킬 수 있도록 지원하기 위해이다.

제안 방법

• 의미적 의도를 유지하면서도 문맥적으로 정보를 반영한 변형, 예를 들어 엔티티 교체, 否정, 입력 순서 재정렬 등을 활용하여 입력 예제를 체계적으로 변경한다.
• 희귀 엔티티, 표현이 부족한 주제, 분포 이탈 예제를 포함한 관심 있는 부분집합을 기존 데이터셋에서 식별하고 추출한다.
• 모델의 응답을 변형된 입력에서 평가하기 위해 기존 평가 지표(BLEU, ROUGE, BERTScore, BLEURT 등)를 통합한다.
• NL-Augmenter 프레임워크를 활용하여 챌린지 세트 생성을 자동화하고, 새로운 NLG 작업과 데이터셋에 대한 확장성을 지원한다.
• 다양한 평가 지표를 활용하여 학습된 지표의 일관성과 校정 문제를 탐지하며, 특히 변형에 대한 민감도를 분석한다.
• GEM 벤치마크 기반 12개의 평가 세트에 걸쳐 80개의 챌린지 세트를 공개하며, 모든 하위집단과 변형을 상세히 기록한 데이터 카드를 제공한다.

실험 결과

연구 질문

• RQ1 현재의 NLG 모델은 표준 테스트 세트와 비교해 체계적인 입력 변형에 대해 어떻게 성능을 내는가?
• RQ2 어떤 종류의 언어학적 및 분포 이탈 변화가 텍스트-투-텍스트 및 텍스트-투-스칼라 생성에서 모델의 취약성을 드러내는가?
• RQ3 표준 평가 지표는 입력 변형 상황에서도 여전히 신뢰할 수 있고 교정되어 있는가?
• RQ4 모델 크기와 사전학습 데이터 분포가 다양한 챌린지 세트에서의 강건성에 어떤 영향을 미치는가?
• RQ5 예를 들어 부정, 공호성 등 언어 능력 기반으로 설계된 챌린지 세트는 표준 평가에서는 드러나지 않는 모델의 단순화 전략을 드러내는가?

주요 결과

• 표준 i.i.d. 테스트 세트에서의 성능은 특히 분포 이탈 또는 희귀 주제 입력에서 모델의 강건성을 과대평가한다.
• 입력 순서를 뒤섞는 변형에서 모델이 심각한 성능 저하를 보이며, 입력의 구조에 과도하게 의존하고 있음을 시사한다.
• 입력 재정렬 상황에서 출력 어휘 크기가 증가하고 국소적 재현율이 감소함으로써, 모델이 입력 특징보다 자동회귀적 디코딩에 더 의존하고 있음을 시사한다.
• BLEURT는 데이터셋 간에 높은 변동성을 보이며 종종 다른 지표와 의견을 다르게 하므로, 적용된 특정 변형에 민감할 수 있음을 시사한다.
• BLEU와 ROUGE와 같은 어휘 기반 지표는 BERTScore와 BLEURT에 비해 변형 상황에서 더 일관되고 교정된 변화를 보여준다.
• 이 프레임워크는 표준 평가에서 숨겨져 있던 모델의 행동, 예를 들어 미세한 편집에 대한 취약성과 희귀 엔티티에서의 실패를 성공적으로 드러낸다.