[논문 리뷰] Are you tough enough? Framework for Robustness Validation of Machine Comprehension Systems

Barbara Rychalska, Dominika Basaj외 1명|arXiv (Cornell University)|2018. 12. 05.

Topic Modeling참고 문헌 12인용 수 5

한 줄 요약

이 논문은 기계 이해 시스템의 강건성 검증 프레임워크를 제안하며, 설명 가능성에 LIME을 활용한 의미적 변형을 통해 모델의 안정성을 평가한다. 동의어 및 임베딩 기반 단어 치환을 통한 테스트를 통해 최신 모델들에도 높은 취약성이 존재하는 것으로 드러나며, 적대적 훈련을 통해 진정한 동의어에 대한 민감도를 최대 7% 향상시킬 수 있음을 보여준다.

ABSTRACT

Deep Learning NLP domain lacks procedures for the analysis of model robustness. In this paper we propose a framework which validates robustness of any Question Answering model through model explainers. We propose that a robust model should transgress the initial notion of semantic similarity induced by word embeddings to learn a more human-like understanding of meaning. We test this property by manipulating questions in two ways: swapping important question word for 1) its semantically correct synonym and 2) for word vector that is close in embedding space. We estimate importance of words in asked questions with Locally Interpretable Model Agnostic Explanations method (LIME). With these two steps we compare state-of-the-art Q&A models. We show that although accuracy of state-of-the-art models is high, they are very fragile to changes in the input. Moreover, we propose 2 adversarial training scenarios which raise model sensitivity to true synonyms by up to 7% accuracy measure. Our findings help to understand which models are more stable and how they can be improved. In addition, we have created and published a new dataset that may be used for validation of robustness of a Q&A model.

연구 동기 및 목표

• 딥 러닝 NLP 모델의 강건성 평가를 위한 표준화된 절차 부족 문제 해결.
• 최신 질의응답 모델이 단어 임베딩을 넘어서 인간과 유사한 이해 능력을 보이는지 조사.
• 입력 질문의 의미적 및 분포적 변화에 대한 모델 민감도를 시스템적으로 테스트할 수 있는 방법 개발.
• 대상이 되는 적대적 훈련 시나리오를 통해 모델의 강건성 향상.
• 향후 QA 시스템의 강건성 평가를 위한 새로운 공개 데이터셋 제공.

제안 방법

• 입력 질문의 단어 중요도를 식별하고 순위를 매기기 위해 局소 해석 가능한 모델 독립적 설명(LIME)을 사용.
• 두 가지 유형의 입력 변형을 적용: 핵심 질문 단어를 의미적으로 올바른 동의어로 치환하고, 단어 임베딩 공간에서의 가장 가까운 이웃으로 치환.
• 변형 전후의 모델 예측을 비교하여 강건성과 일관성 평가.
• 진정한 동의어에 대한 민감도를 높이기 위해 두 가지 적대적 훈련 시나리오 설계하여 일반화 능력 향상.
• 변형 전후의 정확도 지표를 사용해 모델 성능 평가.
• 강건성 벤치마킹을 위한 변형된 질문-답변 쌍을 포함한 새로운 데이터셋 공개.

실험 결과

연구 질문

• RQ1 핵심 질문 단어가 의미적으로 올바른 동의어로 대체될 경우 최신 QA 모델은 어느 정도 강건성을 유지하는가?
• RQ2 핵심 단어가 의미적으로 관련 없지만 임베딩 상 유사한 단어로 대체될 경우 모델의 성능은 어떻게 되는가?
• RQ3 적대적 훈련을 통해 모델의 진정한 동의어에 대한 민감도는 향상되며 정확도는 유지 또는 향상되는가?
• RQ4 LIME를 통한 모델 설명 가능성과 의미적 변형에 대한 강건성 간의 관계는 무엇인가?
• RQ5 제안된 프레임워크는 표준 정확도 지표를 넘어서 모델 강건성의 체계적 평가를 어떻게 가능하게 하는가?

주요 결과

• 높은 정확도에도 불구하고 최신 QA 모델은 특히 핵심 단어가 동의어로 대체될 경우 매우 취약한 편이다.
• 의미적으로 올바른 동의어로 단어가 대체될 경우 모델의 성능이 심각하게 저하되며, 이는 진정한 의미적 이해 부족을 시사한다.
• LIME를 활용한 분석 결과, 모델들이 깊이 있는 의미적 추론보다 표면적 단서에 크게 의존하고 있음을 확인할 수 있다.
• 적대적 훈련 시나리오를 통해 진정한 동의어에 대한 민감도가 최대 7% 향상되었으며, 이는 강건성 향상 잠재력이 있음을 입증한다.
• 제안된 프레임워크는 모델의 약점을 성공적으로 식별하고 강건성 검증을 위한 재현 가능한 방법을 제공한다.
• 새로 공개된 데이터셋을 통해 다양한 아키텍처와 훈련 방식에서 QA 모델의 강건성 평가를 표준화할 수 있게 되었다.