[논문 리뷰] Calling Out Bluff: Attacking the Robustness of Automatic Scoring Systems with Simple Adversarial Testing.

Yaman Kumar, Mehar Bhatia외 4명|arXiv (Cornell University)|2020. 07. 14.

Adversarial Robustness in Machine Learning참고 문헌 12인용 수 11

한 줄 요약

이 논문은 학생들이 흔히 보이는 무관한 또는 비논리적인 응답과 같은 일반적인 학생 행동을 시뮬레이션하여 자동 에세이 채점(AES) 시스템의 내구성과 자연어 이해 능력을 시험하는 작업에 종속되지 않는 적대적 평가 기반을 제안한다. 이 방법은 최신 AES 모델에 심각한 취약성을 드러내며, Quadratic Weighted Kappa와 같은 표준 지표에서 높은 성능을 보임에도 불구하고 진정으로 이해하고 있지 못함을 폭 드러낸다.

ABSTRACT

A significant progress has been made in deep-learning based Automatic Essay Scoring (AES) systems in the past two decades. The performance commonly measured by the standard performance metrics like Quadratic Weighted Kappa (QWK), and accuracy points to the same. However, testing on common-sense adversarial examples of these AES systems reveal their lack of natural language understanding capability. Inspired by common student behaviour during examinations, we propose a task agnostic adversarial evaluation scheme for AES systems to test their natural language understanding capabilities and overall robustness.

연구 동기 및 목표

• 표준 지표에서의 높은 성능와 실제 자연어 이해 능력 사이의 격차를 해소하기 위해.
• AES 모델이 학생 시험 행동을 모방하는 단순한 일반적인 사고 실험적 예제에 속일 수 있는지 조사하기 위해.
• 표준 성능 지표를 넘어서 AES 시스템의 내구성을 테스트할 수 있는 작업에 종속되지 않는 평가 프레임워크를 개발하기 위해.
• 현재 AES 모델이 의미적 일관성과 맥락적 관련성 이해 능력에서 얼마나 제한되어 있는지 폭 드러내기 위해.
• 실제 교육 현장에서 AES 시스템의 신뢰성 평가를 위한 실용적이고 해석 가능한 방법을 제공하기 위해.

제안 방법

• 이 방법은 무의미한 문장이나 관련 없는 내용을 에세이에 삽입하여 일반적인 사고의 위반을 유도함으로써, 학생의 시험 행동을 시뮬레이션하는 적대적 예제를 생성한다.
• 이러한 적대적 예제는 모델에 특화된 수정 없이 기존 AES 시스템에 적용되어 작업에 종속되지 않는 평가를 보장한다.
• 평가에서는 표준 지표인 Quadratic Weighted Kappa에서의 성능 저하를 측정하는 데 의존한다.
• 시험에서 잘못된 추론이나 비현실적인 답변에 대해 학생이 '거짓말을 들킨다'는 방식을 모방한 영감을 얻는다.
• 문법적 구조를 유지하면서 의미적 일관성을 위반하는 간단하고 해석 가능한 변환 전략을 사용한다.
• 다양한 AES 시스템에 프레임워크를 적용하여 적대적 조건 하에서의 내구성 비교를 수행한다.

실험 결과

연구 질문

• RQ1 일반적인 사고를 위반하는 단순한 적대적 예제가 자동 에세이 채점 시스템의 약점을 드러낼 수 있는가?
• RQ2 높은 성능을 보이는 AES 모델이 의미적으로 일관성이 없거나 관련 없는 응답에 직면했을 때 얼마나 실패하는가?
• RQ3 학생 시험 행동을 모방하는 적대적 예제를 사용했을 때 AES 시스템의 성능은 어떻게 저하되는가?
• RQ4 표준 평가 지표와 실제 자연어 이해 능력 사이에 괴리가 존재하는가?
• RQ5 작업에 종속되지 않는 적대적 평가 기반은 AES 모델의 내구성을 효과적으로 측정할 수 있는가?

주요 결과

• 표준 벤치마크에서 높은 점수를 기록함에도 불구하고, 일반적인 사고를 위반하는 적대적 예제를 평가할 때 AES 시스템은 심각한 성능 저하를 보인다.
• 적대적 테스트에서 Quadratic Weighted Kappa 점수의 하락은 모델이 깊은 의미적 이해보다는 표면적인 패atters에 의존하고 있음을 드러낸다.
• 작은 의미적 일관성이 없는 변형조차도 채점 일관성을 크게 떨어뜨려 내구성이 떨어지는 것을 보여준다.
• 결과는 높은 지표 점수와 실제 이해 능력 사이에 명확한 격차가 있음을 시사하며, 현재의 평가 관행이 부족함을 보여준다.
• 제안된 적대적 평가 기반은 다양한 데이터셋과 아키텍처에서 최신 AES 모델의 취약성을 성공적으로 폭 드러냈다.
• 이 방법은 표준 성능 지표를 넘어서 AES 시스템의 신뢰성 평가를 위한 실용적이고 해석 가능한 방식을 제공한다.