[논문 리뷰] Natural Language Inference with a Human Touch: Using Human Explanations to Guide Model Attention.

Joe Stacey, Yonatan Belinkov외 1명|arXiv (Cornell University)|2021. 04. 16.

Topic Modeling참고 문헌 42인용 수 4

한 줄 요약

이 논문은 자연어 추론(NLI)에서 신경망 모델의 주의 메커니즘을 인간이 생성한 자연어 설명으로 유도함으로써 도메인 내 및 도메인 외 일반화 능력을 향상시킨다. 설명과 관련된 단어에 주의를 집중시키기 위해 주의 가중치를 감독함으로써, 모델는 더 견고하고 인간 중심의 특징을 학습하게 되어 데이터셋 편향에 의존하는 것을 줄인다.

ABSTRACT

Natural Language Inference (NLI) models are known to learn from biases and artefacts within their training data, impacting how well the models generalise to other unseen datasets. While previous de-biasing approaches focus on preventing models learning from these biases, we instead provide models with information about how a human would approach the task, with the aim of encouraging the model to learn features that will generalise better to out-of-domain datasets. Using natural language explanations, we supervise a model's attention weights to encourage more attention to be paid to the words present in these explanations. For the first time, we show that training with human generated explanations can simultaneously improve performance both in-distribution and out-of-distribution for NLI, whereas most related work on robustness involves a trade-off between the two. Training with the human explanations encourages models to attend more broadly across the sentences, paying more attention to words in the premise and less attention to stop-words and punctuation. The supervised models attend to words humans believe are important, creating more robust and better performing NLI models.

연구 동기 및 목표

• 데이터셋 편향과 특징들로 인해 발생하는 NLI 모델의 열악한 일반화 능력을 해결하기 위해.
• 견고성 연구에서 흔히 발생하는 성능 저하와의 트레이드오프를 유지한 채로 모델의 견고성을 향상시키기 위해.
• 자연어 설명을 감독으로 사용하여 인간이 중요하게 여기는 단어에 모델의 주의를 유도하기 위해.
• 문장 전반에 걸쳐 주의를 더 넓게 분포시키기 위해, 정지어와标 punctuations에 대한 과도한 의존도를 줄이기 위해.
• 더 나은 일반화를 위해 인간의 추론 방식과 일치하는 특징을 학습하는 NLI 모델을 만들기 위해.

제안 방법

• 인간 평가자가 NLI 전제-가설 쌍에 대해 자연어 설명을 제공하여 핵심 추론 요소를 식별한다.
• 모델의 주의 가중치를 인간 설명에 포함된 단어와 일치하도록 감독한다.
• 주의 가중치가 설명과 관련된 단어에 집중하도록 유도하는 미분 가능한 주의 정규화 손실을 적용한다.
• NLI 분류 손실과 설명 기반 주의 정규화 손실을 동시에 사용하여 엔드 투 엔드로 모델을 미세조정한다.
• 정지어와 문장 부호와 같은 단순한 토큰에 대한 집중을 줄이기 위해 주의를 문장 전반에 걸쳐 더 넓게 분포시킨다.
• 훈련 중 주의 메커니즘에 인간의 추론 신호를 직접 통합한다.

실험 결과

연구 질문

• RQ1 인간의 설명은 NLI 모델의 도메인 내 및 도메인 외 성능을 향상시킬 수 있는가?
• RQ2 인간 설명을 통한 주의 유도는 데이터셋 편향과 특징들에 대한 의존도를 줄이는가?
• RQ3 자연어 설명을 사용해 주의를 효과적으로 정규화할 수 있는가, 이를 통해 모델의 견고성을 향상시킬 수 있는가?
• RQ4 기본 모델 대비 인간 설명에서 강조된 단어에 더 많은 주의를 기울이는가?
• RQ5 주의 분포가 문장 부호와 정지어에 대한 집중을 줄이며 인간 중심의 방식으로 더 잘 정렬되었는가?

주요 결과

• 인간 설명을 사용한 훈련은 도메인 내 및 도메인 외 데이터셋에서 동시에 NLI 성능을 향상시켜 일반화와 견고성의 전형적인 트레이드오프를 피한다.
• 모델은 인간 설명에 포함된 단어에 더 많은 주의를 기울이며, 인간의 추론 패턴과의 성공적인 일치를 보여준다.
• 주의가 문장 전반에 걸쳐 더 넓게 분포되어 정지어와 문장 부호에 대한 과도한 집중이 줄어든다.
• 모델은 더 견고한 특징을 학습하여 새로운 도메인으로의 일반화 능력이 향상된다.
• 주의 메커니즘이 인간이 애너테이션한 추론 신호와 더 일치하며 더 해석 가능해진다.
• 인간이 구조화한 설명을 통합함으로써 모델가 더 일반화 가능하고 인간과 유사한 추론 방식을 향해 유도할 수 있음을 보여준다.