[논문 리뷰] TestAug: A Framework for Augmenting Capability-based NLP Tests

Guanqun Yang, Mirazul Haque외 3명|arXiv (Cornell University)|2022. 10. 14.

Adversarial Robustness in Machine Learning인용 수 8

한 줄 요약

TestAug는 GPT-3를 활용하여 다양한 유효한 능력 기반 NLP 테스트 케이스를 자동으로 생성하는 프레임워크로, 수동 작업을 크게 줄이고 버그 탐지 및 테스트 셋의 다양성을 향상시킵니다. 이 프레임워크는 GPT-3를 초기 생성, 템플릿 확장 및 유효성 분류기로 활용하여 잘못된 출력을 걸러내며, 수동 애너테이션 작업을 최소 98% 감소시키고 기존 방법보다 뛰어난 성능을 보입니다.

ABSTRACT

The recently proposed capability-based NLP testing allows model developers to test the functional capabilities of NLP models, revealing functional failures that cannot be detected by the traditional heldout mechanism. However, existing work on capability-based testing requires extensive manual efforts and domain expertise in creating the test cases. In this paper, we investigate a low-cost approach for the test case generation by leveraging the GPT-3 engine. We further propose to use a classifier to remove the invalid outputs from GPT-3 and expand the outputs into templates to generate more test cases. Our experiments show that TestAug has three advantages over the existing work on behavioral testing: (1) TestAug can find more bugs than existing work; (2) The test cases in TestAug are more diverse; and (3) TestAug largely saves the manual efforts in creating the test suites. The code and data for TestAug can be found at our project website (https://guanqun-yang.github.io/testaug/) and GitHub (https://github.com/guanqun-yang/testaug).

연구 동기 및 목표

• 기존 능력 기반 NLP 테스트 셋 생성 방법의 높은 수동 비용과 낮은 다양성 문제를 해결하기 위해.
• 대규모 언어 모델을 활용해 수동으로 애너테이션된 템플릿에 의존하는 것을 줄이고 테스트 케이스 생성을 자동화하기 위해.
• 더 다양한 유효한 테스트 케이스를 생성하여 모델 실패를 더 잘 드러내는 행동 테스팅의 효과를 향상시키기 위해.
• 수동으로 잘못된 출력을 걸러내는 자동화된 필터링을 통해 정확성을 유지하는 확장 가능한 파이프라인 개발하기 위해.

제안 방법

• 개발자 애너테이션 기반 시드 테스트 케이스를 입력으로 GPT-3에 프롬프트하여 초기 테스트 케이스를 생성합니다.
• GPT-3가 생성한 테스트 케이스를 재사용 가능한 템플릿으로 확장하여 테스트 셋 커버리지와 다양성을 높입니다.
• GPT-3가 생성한 잘못되거나 유효하지 않은 테스트 케이스를 걸러내기 위해 유효성 분류기를 훈련시킵니다. 이로써 고품질 출력만 유지됩니다.
• 이중 단계 필터링 파이프라인을 적용합니다. 첫 번째 단계에서는 분류기를 사용해 유효성을 평가하고, 두 번째 단계에서는 인간 애너테이션을 통해 신뢰성을 확보합니다.
• 다양한 언어 능력, 예를 들어 否정, 함의, 동의어 표현 탐지 등에 대해 NLP 모델을 평가하기 위해 생성된 테스트 셋을 사용합니다.
• 추가적인 GPT-3 쿼리를 통해 반복적으로 테스트 셋을 확장할 수 있도록 재사용 가능한 파이프라인으로 통합합니다.

실험 결과

연구 질문

• RQ1 GPT-3는 최소한의 인간 입력으로 능력 기반 NLP 테스트 케이스를 효과적으로 자동 생성하는 데에 활용될 수 있는가?
• RQ2 GPT-3가 생성한 잘못된 테스트 케이스를 제거하는 데에 분류기 기반의 필터링 메커니즘이 얼마나 효과적인가?
• RQ3 기존 수동 템플릿 기반 방법과 비교해 TestAug는 테스트 셋의 다양성을 어느 정도 향상시키는가?
• RQ4 CheckList와 같은 기존 프레임워크와 비교해 TestAug는 더 많은 모델 버그를 탐지하는가?
• RQ5 기존 테스트 셋 생성 방식과 비교해 TestAug를 사용하면 수동 애너테이션 작업을 얼마나 줄일 수 있는가?

주요 결과

• TestAug의 유효성 분류기는 감성 분류 및 동의어 표현 탐지에서 최소 90%의 성공률을 기록했고, 자연어 함의에서 80%의 성공률을 기록했습니다.
• 프레임워크는 새로운 템플릿 수와 수동으로 생성된 템플릿 수의 비율을 측정하여 수동 애너테이션 작업을 최소 98.0% 감소시켰습니다.
• TestAug는 CheckList가 생성한 테스트 셋보다 11.2배에서 50.4배 더 크며, 최소 49.7배 더 많은 템플릿을 생성했습니다.
• 생성된 테스트 케이스는 기존 방법보다 더 많은 버그를 탐지했으며, 모델 실패에 대한 민감도가 뛰어나다는 것을 입증했습니다.
• 테스트 케이스 유효성에 대한 인간 애너테이션 간의 일致도는 다수였고, 과제별로 코HEN의 카파 계수는 0.741에서 0.812의 범위를 보였습니다.
• 높은 출력 품질을 유지하면서도 TestAug는 CheckList에 비해 테스트 케이스 다양성과 버그 탐지 능력에서 뚜렷한 우월성을 보였습니다.