[논문 리뷰] Evaluating Compositionality in Sentence Embeddings

Ishita Dasgupta, Demi Guo외 3명|arXiv (Cornell University)|2018. 02. 12.

Topic Modeling인용 수 18

한 줄 요약

이 논문은 문장 임bedding의 조합 일반화를 평가하기 위한 진단 데이터셋을 소개하며, 기존의 표준 벤치마크에서 뛰어난 성능을 보이는 최첨단 모델들인 InferSent가 구조적이고 조합적으로 민감한 문장 쌍에서는 실패하는 것으로 나타났다. 핵심 발견은 최소한의 대조 예제를 추가함으로써 훈련 데이터를 보완하면 새로운 데이터셋에서의 성능을 크게 향상시킬 수 있으며, 이는 모델의 실패 원인이 아키텍처적 제약이 아니라 데이터 편향 때문임을 드러낸다.

ABSTRACT

An important challenge for human-like AI is compositional semantics. Recent research has attempted to address this by using deep neural networks to learn vector space embeddings of sentences, which then serve as input to other tasks. We present a new dataset for one such task, `natural language inference' (NLI), that cannot be solved using only word-level knowledge and requires some compositionality. We find that the performance of state of the art sentence embeddings (InferSent; Conneau et al., 2017) on our new dataset is poor. We analyze the decision rules learned by InferSent and find that they are consistent with simple heuristics that are ecologically valid in its training dataset. Further, we find that augmenting training with our dataset improves test performance on our dataset without loss of performance on the original training dataset. This highlights the importance of structured datasets in better understanding and improving AI systems.

연구 동기 및 목표

• 단어 수준의 지식을 넘어서 조합 일반화를 테스트할 수 있는 진단 벤치마크를 개발하는 것.
• InferSent과 같은 최첨단 문장 임베딩 모델이 조합적으로 민감한 자연어 추론 작업에서 실패하는 이유를 조사하는 것.
• 표준 벤치마크에서의 성능을 훼손하지 않고도 조합적 작업에서의 성능 향상을 위한 대상 데이터 증강이 가능한지 평가하는 것.
• 모델이 실패하는 조합적으로 복잡한 예제를 설명하는 데 사용되는 히وري스틱 결정 규칙을 규명하고 분석하는 것.

제안 방법

• 조합적 추론이 필요하고 단지 단어 수준의 정보만으로는 해결할 수 없는 문장 쌍을 포함한 새로운 자연어 추론(NLI) 데이터셋, Comparisons 데이터셋을 구축한다.
• InferSent 문장 임베딩 모델을 표준 SNLI 데이터셋과 새로운 Comparisons 데이터셋 모두에서 훈련 및 평가하여 조합 일반화 능력을 평가한다.
• 특성 기여도 및 패턴 분석을 활용해 InferSent가 훈련 데이터에서 생태학적으로 타당한 히وري스틱을 학습한 방식을 분석한다.
• SNLI와 Comparisons 데이터셋을 결합한 데이터셋으로 InferSent를 피니튜닝하여 새로운 작업에서의 성능 향상 여부를 테스트한다. 이때 원래의 성능이 떨어지지 않는지도 확인한다.
• SNLI와 Comparisons 데이터셋을 결합한 데이터셋으로부터 InferSent를 다시 훈련하여, 모델 아키텍처가 적절한 훈련 예제가 제공될 경우 조합 패턴을 학습할 수 있는지 검증한다.
• 해석 가능성 기법을 활용해 모델 행동을 분석하고, 성능 향상이 단순한 간편한 히وري스틱이 아닌 진정한 조합 학습에 기인한 것임을 검증한다.

실험 결과

연구 질문

• RQ1 InferSent와 같은 최첨단 문장 임베딩 모델은 단어 수준의 의미를 초월해 관계 추론이 필요한 문장 쌍에 대해 조합적으로 일반화할 수 있는가?
• RQ2 InferSent와 같은 모델이 훈련 데이터에서 학습하는 특정 히وري스틱은 무엇이며, 이는 조합적으로 복잡한 예제에서의 실패 원인이 되는가?
• RQ3 SNLI 훈련 데이터의 편향이 InferSent가 새로운 Comparisons 데이터셋에서 낮은 성능을 보이는 데 기여하는 정도는 어느 정도인가?
• RQ4 표준 벤치마크에서의 성능이 떨어지지 않도록 하면서도, 최소한의 대조 예제를 추가한 데이터 증강을 통해 조합 민감한 예제에서의 성능을 향상시킬 수 있는가?
• RQ5 InferSent 모델 아키텍처는 더 구조적이고 다양한 훈련 분포가 제공될 경우 조합 표현을 학습할 수 있는가?

주요 결과

• InferSent는 Comparisons 데이터셋에서 45.36%의 정확도를 기록했으며, 이는 단어 수준의 지식을 넘어서는 조합 일반화 실패를 시사한다. 이는 SNLI 테스트 세트에서의 84.84% 정확도와 대비된다.
• InferSent가 Comparisons 데이터셋에서 낮은 성능을 보이는 주요 원인은 모델 아키텍처의 근본적 한계가 아니라 데이터 기반 히وري스틱—예를 들어 단어 공존 패턴에 의존하는 것—이다.
• 분석 결과, 모델는 SNLI 훈련 데이터에서 생태학적으로 타당한 히وري스틱을 학습한 것으로 밝혀졌으며, 특정 단어를 특정 함의 관계와 연결짓는 방식이지만, 이는 Comparisons 데이터셋의 반례에서는 실패한다.
• Comparisons 데이터셋으로의 피니튜닝은 정확도를 99.8%까지 끌어올려, 적절한 예제가 제공될 경우 모델가 조합 패턴을 학습할 수 있음을 보여준다.
• SNLI와 Comparisons 데이터셋을 결합한 데이터셋으로부터 다시 훈련하면 Comparisons 데이터셋에서 99.55%의 정확도와 SNLI에서 84.96%의 정확도를 기록하여, 둘 다의 성능을 유지하거나 향상시킬 수 있음을 보여준다.
• 결과는 모델 아키텍처가 조합 추론을 수행할 수 있음을 확인하며, 성능 저하의 주요 원인이 부족하고 비구조적인 훈련 예제 부족에 기인해 있다는 점을 입증한다.