[논문 리뷰] Avoiding Reasoning Shortcuts: Adversarial Evaluation, Training, and Model Development for Multi-Hop QA

Yichen Jiang, Mohit Bansal|arXiv (Cornell University)|2019. 06. 17.

Topic Modeling참고 문헌 26인용 수 4

한 줄 요약

이 논문은 HotpotQA 데이터셋에서 모델이 진정한 복합적 추론 대신 단일 힙 단어 매칭을 통해 다단계 질문에 답할 수 있도록 허용하는 추론 단서를 규명한다. 이를 위해 적대적 문서 생성 기법을 제안하고, 동적 질문 유도 다단계 주의 메커니즘을 위한 제어 유닛을 도입하며, 이 구조를 갖춘 모델이 기준 모델 대비 적대적 평가에서 훨씬 더 높은 강건성과 성능을 보임을 입증한다.

ABSTRACT

Multi-hop question answering requires a model to connect multiple pieces of evidence scattered in a long context to answer the question. In this paper, we show that in the multi-hop HotpotQA (Yang et al., 2018) dataset, the examples often contain reasoning shortcuts through which models can directly locate the answer by word-matching the question with a sentence in the context. We demonstrate this issue by constructing adversarial documents that create contradicting answers to the shortcut but do not affect the validity of the original answer. The performance of strong baseline models drops significantly on our adversarial evaluation, indicating that they are indeed exploiting the shortcuts rather than performing multi-hop reasoning. After adversarial training, the baseline's performance improves but is still limited on the adversarial evaluation. Hence, we use a control unit that dynamically attends to the question at different reasoning hops to guide the model's multi-hop reasoning. We show that this 2-hop model trained on the regular data is more robust to the adversaries than the baseline model. After adversarial training, this 2-hop model not only achieves improvements over its counterpart trained on regular data, but also outperforms the adversarially-trained 1-hop baseline. We hope that these insights and initial improvements will motivate the development of new models that combine explicit compositional reasoning with adversarial training.

연구 동기 및 목표

• 모델이 진정한 다단계 추론을 회피할 수 있도록 허용하는 HotpotQA 데이터셋 내 추론 단서를 폭 드러내고 평가하는 것.
• 의미적으로 타당하지만 잘못된 대체 정보를 포함한 지원 문서의 핵심 실체를 대체하여, 이러한 단서를 제거하는 적대적 문서를 생성하는 것.
• 적대적 훈련을 통해 모델의 강건성을 향상시키고, 각 추론 단계에서 질문 단어에 대해 동적으로 주의를 기울일 수 있도록 제어 유닛을 도입하여 질문 유도 다단계 주의 메커니즘을 개선하는 것.
• 명시적인 복합적 추론 메커니즘이 적대적 환경에서 표준 모델보다 우수한 성능을 보임을 입증하는 것.

제안 방법

• 정답 구간과 문서 제목을 변형하여 모델가 단서를 악용하는 데 오도할 수 있는 충돌하는 답변을 유도하는 적대적 문서 생성.
• 지원 문서의 핵심 실체를 의미적으로 타당하지만 잘못된 대체어로 교체하여, 적대적 개발 세트(adv-dev)와 훈련 세트(adv-train)를 구성하는 것.
• 반복적 제어 유닛을 갖춘 2단계 모델을 설계하여 각 추론 단계에서 관련 질문 단어에 대해 동적으로 주의를 기울여 이중 주의 메커니즘을 안내하는 것.
• 훈련 중 지원 사실에 대한 감독 신호를 통합하여 증거 기반 추론을 장려하고 표면적 매칭에 대한 의존도를 줄이는 것.
• 생성된 적대적 데이터를 기반으로 기준 모델과 2단계 모델 모두를 적대적 훈련하여 강건성을 향상시키는 것.
• 표준 및 적대적 분할에서의 모델 성능 평가를 통해 일반화 능력과 추론 강건성을 측정하는 것.

실험 결과

연구 질문

• RQ1 최신의 HotpotQA 모델들이 얼마나 많은 비율로 진정한 다단계 추론 대신 추론 단서에 의존하는가?
• RQ2 적대적 문서가 모델의 단서 악용에 대한 취약성을 폭 드러내고 측정하는 데 얼마나 효과적인가?
• RQ3 적대적 훈련이 추론 단서를 제거한 예제에서 모델의 강건성을 향상시키는 데 효과적인가?
• RQ4 질문 단어에 대해 동적으로 주의를 이끄는 제어 유닛이 다단계 추론 성능을 향상시키는가?
• RQ5 적대적 훈련을 거친 2단계 모델이 적대적 훈련을 거친 1단계 기준 모델보다 성능이 뛰어나게 되는가?

주요 결과

• 강력한 기준 모델(Bi-attention + Self-attention)의 성능은 적대적 개발 세트에서 크게 하락하여 단서에 의존도가 높다는 것을 시사한다.
• 지원 사실 감독 신호가 적대적 세트에서 기준 모델의 성능을 향상시켜 증거 기반 추론이 강건성을 높인다는 것을 입증한다.
• 적대적 훈련이 기준 모델의 적대적 세트 성능을 향상시켰지만, 여전히 표준 개발 세트 성능보다는 크게 떨어졌다.
• 제어 유닛을 갖춘 제안된 2단계 모델은 정상 데이터로 훈련된 상태에서 적대적 평가에서 기준 모델을 능가하여 강건성이 향상됨을 입증한다.
• 적대적 훈련을 거친 후, 2단계 모델은 적대적 훈련을 거친 1단계 기준 모델보다 적대적 개발 세트에서 더 높은 성능을 기록하여 명시적 복합적 추론의 효과성을 입증한다.
• 적대적 훈련을 거친 2단계 모델는 추가적인 성능 향상을 보였으며, 명시적 추론과 적대적 훈련을 결합함으로써 강건성이 더욱 향상됨을 확인한다.