[논문 리뷰] Adversarial NLI for Factual Correctness in Text Summarisation Models

Mario Barrantes, Benedikt Herudek외 1명|arXiv (Cornell University)|2020. 05. 24.

Topic Modeling참고 문헌 31인용 수 8

한 줄 요약

이 논문은 추상적 텍스트 요약에서 사실적 정확성을 향상시키기 위해 Adversarial NLI (ANLI) 데이터셋을 기반으로 Transformer 기반 NLI 모델을 피지테이닝하는 방법을 제안한다. 요약문이 원본 문서와 논리적으로 일관성을 유지하는 정도를 기반으로 함의 확률 순위를 활용함으로써, ANLI에서 피지테이닝된 모델은 이전의 NLI 모델보다 유의미하게 높은 정확도를 달성하며, 사실적으로 올바른 요약문을 탐지하는 데 있어 더 높은 강건성과 신뢰성을 보여준다.

ABSTRACT

We apply the Adversarial NLI dataset to train the NLI model and show that the model has the potential to enhance factual correctness in abstract summarization. We follow the work of Falke et al. (2019), which rank multiple generated summaries based on the entailment probabilities between an source document and summaries and select the summary that has the highest entailment probability. The authors' earlier study concluded that current NLI models are not sufficiently accurate for the ranking task. We show that the Transformer models fine-tuned on the new dataset achieve significantly higher accuracy and have the potential of selecting a coherent summary.

연구 동기 및 목표

• 높은 ROUGE 점수를 기록함에도 불구하고 사실적으로 잘못되거나 모순되는 요약문을 생성하는 현재의 추상적 요약 모델에서 발생하는 심각한 결함을 해결한다.
• 스푸르아스 통계 패턴에 의존하고 요약 작업에 일반화되지 못하는 기존 NLI 모델들(예: SNLI, MNLI)의 한계를 극복한다.
• 더 강건한, 적대적으로 구성된 ANLI 데이터셋을 기반으로 훈련함으로써 함의 기반 요약문 순위 매기기의 신뢰성을 향상시킨다.
• 여러 개의 생성된 후보 요약문 중에서 사실적으로 올바른 요약문을 선택하는 데 있어 ANLI에서 피지테이닝된 모델이 베이스라인 NLI 모델을 능가하는지 검증한다.
• 주의 시각화를 통해 모델 행동에 대한 해석 가능성을 제공하고, ANLI 피지테이닝 과정을 통해 향상된 추론 능력이 어떻게 유도되는지 이해한다.

제안 방법

• Transformer 기반 사전 훈련 모델(BERT, RoBERTa, XLNet)을 Adversarial NLI (ANLI) 데이터셋에서 피지테이닝하여 추론 능력을 향상시킨다.
• Falke 등 (2019)의 순위 매기기 전략을 활용해 원본 문서와 다수의 생성된 요약문 간의 함의 확률을 NLI 모델을 통해 계산한다.
• 함의 확률이 가장 높은 요약문을 최종 출력으로 선택함으로써, NLI를 사실적 일관성 필터링에 활용한다.
• 주의 시각화 도구(예: Vig, 2019)를 사용해 모델 행동을 해석하고, ANLI 피지테이닝 이후 주의 패턴이 어떻게 변화하는지 분석한다.
• Falke 등 (2019)의 검증 세트에서 성능을 비교하여, 기존 모델 대비 함의 정확도 향상 정도를 정량적으로 측정한다.
• 주의 헤드에 대한 제거 실험과 정성적 분석을 수행하여, ANLI 훈련이 스푸르아스 주의 패턴(예: 'sex'와 'service'와 같은 관련 없는 토큰 간 주의)을 감소시키는지 평가한다.

실험 결과

연구 질문

• RQ1 ANLI 데이터셋에서 NLI 모델을 피지테이닝하면 추상적 요약에서 사실적 정확성을 탐지하는 능력이 유의미하게 향상되는가?
• RQ2 ANLI의 적대적 훈련 과정은 표준 NLI 데이터셋에 비해 더 강건하고 일반화 능력이 뛰어난 함의 예측을 이끌어내는가?
• RQ3 ANLI에서 피지테이닝된 모델의 주의 패턴은 표준 MNLI에서 피지테이닝된 모델과 어떻게 다를까? 특히 스푸르아스 토큰 연관성과 관련하여?
• RQ4 ANLI에서 피지테이닝된 NLI 모델은 다수의 후보 요약문 중에서 정확한 요약문을 선택하는 데 있어 기존 모델보다 어느 정도 뛰어나게 성능을 발휘하는가?
• RQ5 해석 가능성을 제공하는 도구를 통해 ANLI에서 피지테이닝된 모델이 더 정확한 함의 판단을 내리는 이유를 기계적 메커니즘으로 이해할 수 있는가?

주요 결과

• ANLI에서 피지테이닝된 NLI 모델은 MNLI나 SNLI에서만 피지테이닝된 모델보다 사실적으로 올바른 요약문을 선택하는 데 훨씬 높은 정확도를 달성한다.
• 성능 향상은 Falke 등 (2019)의 검증 세트에서 정량적으로 검증되었으며, 함의 정확도가 유의미하게 증가함을 보여준다.
• 주의 시각화 결과, ANLI 피지테이닝은 관련 없는 토큰 간 주의를 감소시키며, 예를 들어 'sex'와 'service' 간 주의가 줄어들어 이전의 MNLI 전용 모델에서 발생하던 오류를 수정함을 보여준다.
• ANLI에서 피지테이닝된 모델의 초기 레이어는 문맥-가설 관계를 더 강하게 표현하고 있어, 추론 능력 향상의 핵심이 네트워크의 초기 단계에서 발생함을 시사한다.
• ANLI로 훈련된 모델는 더 일관된 주의 패턴을 보이며, 'service'가 'counselling'이나 'relate'와 같이 의미적으로 관련된 단어들에 더 많은 주의를 기울이는 경향을 보인다.
• 결과적으로 ANLI 훈련이 단기 학습을 줄이고 일반화 능력을 향상시켜, 미묘한 의미적 차이를 포함하는 복잡한 실제 요약 시나리오에서도 특히 효과적임을 확인한다.