[논문 리뷰] BERT & Family Eat Word Salad: Experiments with Text Understanding

Ashim Gupta, Giorgi Kvernadze외 1명|arXiv (Cornell University)|2021. 01. 10.

Topic Modeling참고 문헌 43인용 수 24

한 줄 요약

이 논문은 최신 BERT 기반 모델이 어순이 뒤죽박터진 또는 단어가 뒤섞인 입력(예: 알파벳 순서로 정렬되거나 순서가 뒤바뀐 문장)과 같은 무의미한 문장들조차도 일관되게 높은 신뢰도 예측을 내보내는 것을 입증한다. 이는 언어적 의미가 전혀 없음에도 불구하고 발생한다. 주요 기여는 정규화나 추가적인 '무효' 클래스를 통해 무효 입력을 명시적으로 거부하도록 훈련시킨 모델가 유효한 데이터에서 높은 성능을 유지하면서도 낭만적인 문장을 효과적으로 탐지할 수 있음을 보여주며, 현재 NLP 모델들이 이해 능력에서 심각한 결함을 지니고 있음을 드러낸다.

ABSTRACT

In this paper, we study the response of large models from the BERT family to incoherent inputs that should confuse any model that claims to understand natural language. We define simple heuristics to construct such examples. Our experiments show that state-of-the-art models consistently fail to recognize them as ill-formed, and instead produce high confidence predictions on them. As a consequence of this phenomenon, models trained on sentences with randomly permuted word order perform close to state-of-the-art models. To alleviate these issues, we show that if models are explicitly trained to recognize invalid inputs, they can be robust to such attacks without a drop in performance.

연구 동기 및 목표

• 최신 BERT 기반 모델이 의미 있는 입력과 무의미한(단어 난잡함) 입력을 구분할 수 있는지 조사하기.
• 언어적 구조와 의미를 파괴하는 파괴적인 입력 변형에 대해 이러한 모델이 얼마나 취약한지 폭 드러내기.
• 표준 유효 입력 데이터에서 성능을 유지하면서도 무효 입력을 인식하고 거부할 수 있도록 하는 완화 전략 평가하기.

제안 방법

• 입력 형식은 유지하나 문장의 의미를 상실하게 만드는 구조적 파괴 변형 9종(예: 알파벳 순서 정렬, 단어 순서 뒤섞기, 반복 등) 정의하기.
• GLUE 벤치마크 작업(비등가성, 동의어 탐지, 감성 분석)의 테스트 예제에 이러한 변형을 적용하여 무효 입력 생성하기.
• 세 가지 완화 전략(엔트로피 정규화, 확률 임계값 설정, 명시적 '무효' 클래스 추가)을 사용해 RoBERTa 모델을 유효 예제가 포함된 데이터셋에 훈련 및 미세조정하기.
• 원본 데이터의 정확도와 무효 입력 탐지율을 측정하며, 검증 세트에서 초모수를 최적화하기.
• 확률 캘리브레이션을 위해 온도 스케일링 사용 및 임계값 설정 파rameter 최적화를 위해 그리드 서치 수행하기.
• 완화 전략의 이식 가능성 평가를 위해 한 변형에 대해 훈련하고 다른 변형에 대해 테스트하기.

실험 결과

연구 질문

• RQ1 BERT 기반 모델은 알파벳 순서로 정렬되거나 순서가 뒤집힌 단어 시퀀스와 같은 무의미한 입력을 신뢰성 있게 탐지할 수 있는가?
• RQ2 최신 모델들이 문법적 또는 의미적 구조가 없는 무효 입력에 대해 얼마나 높은 신뢰도 예측을 유지하는가?
• RQ3 표준 유효 입력에 대한 성능을 희생시키지 않고도 무효 입력을 거부하도록 모델을 훈련시킬 수 있는가?
• RQ4 엔트로피 정규화나 '무효' 클래스 도입과 같은 완화 전략이 파괴적인 변형에 대한 강건성을 향상시키는가?
• RQ5 무효 입력 탐지 능력이 다양한 종류의 파괴적 변형 간에 이식 가능한가?

주요 결과

• MNLI 데이터셋에서 RoBERTa 모델은 가설을 알파벳 순서로 정렬한 경우에도 평균 95%의 높은 신뢰도로 동일한 함의 예측을 유지했다. 이는 문장이 의미를 잃었음에도 불구하고 여전히 신뢰도가 높다는 것을 의미한다.
• MNLI 예제의 79%에서, 알파벳 순서로 정렬된 가설에 대해서도 원본 문장과 동일한 레이블(함의, 모순, 중립)을 예측했다. 이는 언어적 일관성이 손실된 상태에서도 동일한 예측을 유지했다는 것이다.
• 랜덤으로 순서가 뒤집힌 단어 순서에 대해 미세조정된 모델은 원본 테스트 세트에서 원본 모델과 거의 동일한 성능을 보였으며, 이는 문법적 구조가 높은 성능을 내는 데 필수적이지 않음을 시사한다.
• 엔트로피 정규화는 무효 입력에 대한 일치도 점수를 평균 35%로 낮춰서 불확실성을 크게 증가시켰지만, 일부 경우에서 유효 데이터에서 정확도가 1% 이상 감소했다.
• '무효' 클래스를 명시적으로 추가한 전략(B + Invalid)이 가장 균형 잡힌 성과를 보였으며, 모든 변형에 대해 무효 입력의 97.10%를 정확히 탐지했고, 유효 데이터에서는 높은 정확도를 유지했다.
• '무효' 클래스를 통한 완화 전략은 이식 가능했다. 한 유형의 변형에 대해 훈련된 모델은 다른 변형에 대해서도 잘 일반화되었으며, 이는 넓은 적용 가능성을 시사한다.