[논문 리뷰] Improving Generalization by Incorporating Coverage in Natural Language Inference

Nafise Sadat Moosavi, Prasetya Ajie Utama외 2명|TUbilio (Technical University of Darmstadt)|2019. 09. 19.

Topic Modeling참고 문헌 25인용 수 4

한 줄 요약

이 논문은 자연어 추론(NLI)에서 신경망 입력을 향상시키기 위해 가설 내 각 단어나 바이그램이 전제에 얼마나 잘 매칭되는지를 측정하는 커버리지 벡터를 통합함으로써 제안한다. 외부 데이터 없이 이러한 커버리지 표현을 모델 입력에 통합함으로써, 여러 NLI 데이터셋에서 일반화 능력이 크게 향상되며, 성능이 최대 30점 향상되고, 독해 및 QA-SRL과 같은 관련 작업에서의 전이 성능도 향상된다.

ABSTRACT

The task of natural language inference (NLI) is to identify the relation between the given premise and hypothesis. While recent NLI models achieve very high performance on individual datasets, they fail to generalize across similar datasets. This indicates that they are solving NLI datasets instead of the task itself. In order to improve generalization, we propose to extend the input representations with an abstract view of the relation between the hypothesis and the premise, i.e., how well the individual words, or word n-grams, of the hypothesis are covered by the premise. Our experiments show that the use of this information considerably improves generalization across different NLI datasets without requiring any external knowledge or additional data. Finally, we show that using the coverage information is not only beneficial for improving the performance across different datasets of the same task. The resulting generalization improves the performance across datasets that belong to similar but not the same tasks.

연구 동기 및 목표

• 개별 벤치마크에서 높은 성능를 보이지만 유사한 데이터셋 간 일반화 능력이 떨어지는 NLI 모델의 문제를 해결한다.
• 현재 모델들이 어휘 형태에 과도하게 의존하고 추상적 추론 지식을 학습하지 못한다는 점을 규명한다.
• 특히, 가설의 단어와 n-그램이 전제에 얼마나 커버되는지를 측정하는 커버리지 정보를 활용하여, 외부 자료 없이도 기존 데이터의 내재적 특징만으로 일반화 능력을 향상시키는 방법을 제안한다.
• 이 방법의 전이 가능성(transferability)을 독해 및 QA-SRL과 같은 관련 NLP 작업들에 대해 평가한다.
• 커버리지 정보가 외부 지식이나 추가 데이터 없이도 다양한 유사한 NLP 작업에서 모델의 강건성과 성능을 향상시킨다는 점을 입증한다.

제안 방법

• Φ가 단어 수준의 임베딩 또는 히든 레이어 출력을 나타내는 바에, 가설과 전제 표현 간 유사도 행렬 S = Φ(H)Φ(P)ᵀ를 계산한다.
• 각 가설 단어의 최대 유사도 maxj(Sij)를 통해 커버리지 값 ci를 유도하며, 이는 해당 단어가 전제의 어떤 단어와라도 얼마나 잘 매칭되는지를 나타낸다.
• 윈도우 크기가 2인 CNN을 사용하여 바이그램으로의 커버리지 확장을 수행하며, Φ′(H)를 표현으로 계산하고, 각 바이그램의 최대 유사도 c′i를 계산한다.
• 커버리지 벡터 C(단어용) 및 C′(바이그램용), 그리고 커버리지 위치 Q와 Q′를 모델의 추가 입력 특징으로 통합한다.
• 도메인 내 개발 세트에서 하이퍼파라미터 서치를 통해 C, C′, Q, Q′ 및 표현 레이어 Φ의 사용을 조정한다.
• 표준 NLI 및 QA 아키텍처를 사용하여 이러한 강화된 입력을 통해 모델을 엔드 투 엔드로 훈련하고, 도메인 외 테스트 세트에서 평가한다.

실험 결과

연구 질문

• RQ1 외부 지식이나 데이터 없이 커버리지 기반 표현이 다양한 NLI 데이터셋 간 일반화 능력을 향상시킬 수 있는가?
• RQ2 어휘 및 n-그램 커버리지 정보를 통합하면, 과제 형식이 다를 경우에도 도메인 외 NLI 데이터셋에서 모델 성능이 향상되는가?
• RQ3 커버리지 정보는 독해 및 QA-SRL과 같은 관련되지만 서로 다른 NLP 작업 간의 일반화 능력을 향상시킬 수 있는가?
• RQ4 커버리지 벡터와 위치가, 어휘 매칭은 존재하지만 의미 일치가 실패하는 비함의성 케이스를 탐지하는 데 어떻게 기여하는가?
• RQ5 SNLI/MultiNLI에서 훈련된 모델이 어려움을 겪는, SICK와 같이 중립 쌍에서 어휘 유사도가 높은 데이터셋에서 커버리지 사용이 성능 향상에 기여하는가?

주요 결과

• 커버리지 벡터를 통합함으로써 NLI 데이터셋 간 일반화 능력이 최대 30점 향상되었으며, SNLI, MultiNLI, Glockner 데이터셋에서 일관된 성능 향상이 관찰되었다.
• SNLI 또는 MultiNLI에서 훈련된 모델은 커버리지 정보를 사용할 경우 SICK 데이터셋에서 성능이 뚜렷이 향상되었으며, 특히 높은 어휘 유사도를 보이는 중립 쌍을 식별하는 데서 두드러진 성능 향상이 있었다.
• 커버리지 정보는 도메인 외 QA 작업에서 성능을 향상시켰다: SQuAD에서 커버리지 특징을 사용해 훈련한 모델은 QA-SRL 테스트 세트에서 EM 및 F1 점수가 상승했다.
• 바이그램 커버리지(C′)는 MQAN에서 유용했지만, BIDAF에서는 단어 수준 커버리지(C)만 향상되었으며, 이는 모델에 따라 표현 유형에 대한 민감도의 차이를 보였다.
• 커버리지 위치(Q, Q′)는 단어나 어구가 순서가 어긋나게 커버된 경우, 예를 들어 H3에서 가설은 중립이지만 모든 단어가 순서 어긋나게 커버된 경우와 같이 의미 일치가 실패하는 케이스를 탐지하는 데 도움이 되었다.
• 추가 데이터나 외부 지식 없이도 이 방법은 다양한 작업에서 성능을 향상시켰으며, NLP 모델에 대한 단순하고 일반적인 인덕티브 바이어스로서의 효과를 입증했다.