[논문 리뷰] Counterfactual Variable Control for Robust and Interpretable Question Answering

Sicheng Yu, Yulei Niu외 3명|arXiv (Cornell University)|2020. 10. 12.

Topic Modeling참고 문헌 54인용 수 6

한 줄 요약

이 논문은 인과 추론과 다중 브랜치 신경망 아키텍처를 활용하여 종합적 추론과 짧은 경로 상관관계를 명시적으로 분리함으로써 질문-답변(QA)에서의 강인성과 해석 가능성 향상을 위한 새로운 방법인 반사적 변수 제어(CVC)를 제안한다. CVC는 다중 브랜치 신경망 아키텍처와 반사적 추론을 활용하여 BERT 기반 QA 벤치마크에서 적대적 공격에 대해 최고 수준의 강인성을 확보하면서도 모델의 해석 가능성도 유지한다.

ABSTRACT

Deep neural network based question answering (QA) models are neither robust nor explainable in many cases. For example, a multiple-choice QA model, tested without any input of question, is surprisingly "capable" to predict the most of correct options. In this paper, we inspect such spurious "capability" of QA models using causal inference. We find the crux is the shortcut correlation, e.g., unrobust word alignment between passage and options learned by the models. We propose a novel approach called Counterfactual Variable Control (CVC) that explicitly mitigates any shortcut correlation and preserves the comprehensive reasoning for robust QA. Specifically, we leverage multi-branch architecture that allows us to disentangle robust and shortcut correlations in the training process of QA. We then conduct two novel CVC inference methods (on trained models) to capture the effect of comprehensive reasoning as the final prediction. For evaluation, we conduct extensive experiments using two BERT backbones on both multi-choice and span-extraction QA benchmarks. The results show that our CVC achieves high robustness against a variety of adversarial attacks in QA while maintaining good interpretation ability.

연구 동기 및 목표

• 최고 수준의 QA 모델이 높은 정확도를 보일지라도 낮은 강인성과 해석 가능성의 원인을 규명하기 위해 연구한다.
• 예를 들어, 본문과 선택지 간의 단어 정렬과 같은 짧은 경로 상관관계가 모델의 취약성의 근본 원인임을 규명한다.
• 종합적 추론을 유지하면서도 짧은 경로 상관관계를 명시적으로 완화할 수 있는 방법을 개발한다.
• 다양한 BERT 백본을 사용하여 적대적 및 도메인 내 설정에서 여러 QA 벤치마크에서 접근법을 검증한다.

제안 방법

• CVC는 훈련 중 추론와 유사성 상관관계를 분리하기 위해 강인한 추론 브랜치와 다수의 짧은 경로 브랜치를 포함하는 다중 브랜치 신경망 아키텍처를 사용한다.
• 이 방법은 변수(예: 질문) 제거의 영향을 시뮬레이션하고 종합적 추론의 기여도를 고립하기 위해 반사적 분석을 사용한다.
• 두 가지 추론 방법이 제안되며, CVC-IV(간섭 기반)와 CVC-MV(평균 변동 기반)는 모두 간접 효과를 추정하기 위해 짧은 경로 영향을 받은 예측을 빼내는 방식이다.
• CVC-IV는 추론 표현을 마스킹하고 정상 예측에서 빼내어 추론 효과를 고립한다.
• CVC-MV는 학습 가능한 제어 메커니즘을 사용하여 짧은 경로 브랜치의 영향을 조절하며, 확률 분포 간의 거리 측도를 통해 분리의 촉진을 유도하는 손실 함수를 사용한다.
• 이 접근법은 다중 작업 학습 방식으로 훈련되며, 표준 지도 학습을 유지하면서도 테스트 시 반사적 추론을 가능하게 한다.

실험 결과

연구 질문

• RQ1 사전 훈련된 QA 모델에서 강인성 실패의 원인은 무엇이며, 특히 질문 입력 없이도 잘 성능을 내는 경우에 어떻게 설명할 수 있는가?
• RQ2 인과 추론을 사용하여 QA 모델에서 종합적 추론과 짧은 경로 상관관계를 공식적으로 분리할 수 있는가?
• RQ3 반사적 추론이 적대적 공격에 대한 강인성을 향상시키면서도 표준 벤치마크에서 높은 정확도를 유지할 수 있는가?
• RQ4 추론 및 짧은 경로 구성 요소의 분리가 분포 이동 조건 하에서 모델의 해석 가능성과 성능에 어떤 영향을 미치는가?

주요 결과

• CVC는 적대적 벤치마크에서 최고 수준의 강인성을 확보하였으며, MCTest에서 BERT-base를 사용해 Adv1에서 56.3%의 정확도, Adv2에서 66.2%의 정확도를 기록하였다.
• 도메인 내 개발 세트에서 CVC-IV는 MCTest에서 86.6%의 정확도, SQuAD에서 87.2%의 정확도를 기록하여 기준 모델들을 능가하였다.
• 제거 실험 결과, 짧은 경로 브랜치를 제거하거나 다른 거리 측도를 사용할 경우 성능 저하가 발생하여 CVC 전체 메커니즘의 중요성을 확인하였다.
• CVC-MV 버전은 도메인 내 데이터에서 CVC-IV보다 더 우수한 성능을 보였으며, 다양한 데이터로 훈련된 경우 학습된 제어 메커니즘이 일반화를 향상시킨다는 것을 시사한다.
• 사례 연구 결과, CVC는 표준 모델이 잘못된 단어 정렬 짧은 경로에 속아도 정답을 올바르게 식별하는 것으로 나타났다.
• 표준 벤치마크에서 높은 성능을 유지하면서도 유사성 상관관계 의존도를 크게 감소시켜, 질문 무음 공격에 대한 강인성을 입증하였다.