[논문 리뷰] Assessing Composition in Sentence Vector Representations

Allyson Ettinger, Ahmed Elgohary외 2명|arXiv (Cornell University)|2018. 09. 11.

Natural Language Processing Techniques인용 수 11

한 줄 요약

이 논문은 정확한 문법적, 의미적, 어휘적 제약 조건을 갖춘 대규모 애너테이션된 문장 집합을 생성함으로써 신경망 문장 임베딩에서 조합적 의미를 제어 가능한 방식으로 평가하는 방법을 제안한다. 이 방법은 의미 역할 및 부정과 같은 추상적 조합 정보를 탐지하기 위해 표적 분류 작업을 사용하며, 모델이 구조화된 의미를 얼마나 잘 포착하는지 효과적으로 구분할 수 있음을 보여주며, 결과적으로 다양한 모델 간에 상당한 성능 격차가 있음을 입증한다. 또한 bag-of-words 기반 모델을 통한 검증도 수행된다.

ABSTRACT

An important component of achieving language understanding is mastering the composition of sentence meaning, but an immediate challenge to solving this problem is the opacity of sentence vector representations produced by current neural sentence composition models. We present a method to address this challenge, developing tasks that directly target compositional meaning information in sentence vector representations with a high degree of precision and control. To enable the creation of these controlled tasks, we introduce a specialized sentence generation system that produces large, annotated sentence sets meeting specified syntactic, semantic and lexical constraints. We describe the details of the method and generation system, and then present results of experiments applying our method to probe for compositional information in embeddings from a number of existing sentence composition models. We find that the method is able to extract useful information about the differing capacities of these models, and we discuss the implications of our results with respect to these systems' capturing of sentence information. We make available for public use the datasets used for these experiments, as well as the generation system.

연구 동기 및 목표

• 신경망 문장 임베딩이 조합적 의미를 어떻게 포착하는지에 대한 투명성 부족 문제를 해결하여 평가 및 향상에 애로를 겪지 않도록 하기 위해.
• 의미 역할 및 부정과 같은 추상적 조합 정보를 탐지하기 위한 체계적이고 제어 가능한 방법을 개발하기 위해.
• 정확한 문법적, 의미적, 어휘적 제약 조건을 갖춘 대규모 의미 애너테이션된 문장 데이터셋을 생성하여 엄격한 평가를 가능하게 하기 위해.
• 조합적 추론이 필요한 작업에서 bag-of-words 기반 모델이 우연의 성능을 보이는지 확인함으로써 방법의 타당성을 검증하기 위해.
• 생성 시스템과 분류 데이터셋을 공개하여 조합적 의미 모델의 평가 및 개발를 광범위하게 지원하기 위해.

제안 방법

• 의미 역할 프레임에서 주어 또는 목적어를 식별하는 것과 같은 조합적 의미를 직접적으로 타겟으로 삼는 분류 작업을 설계하기 위해.
• 지정된 문법적, 의미적, 어휘적 제약 조건을 갖춘 대규모 제어된 문장 집합을 생성할 수 있는 전용 문장 생성 시스템을 개발하기 위해.
• 평가 작업의 정확성과 일관성을 확보하기 위해 각 문장에 골드 스탠다드 의미 레이블을 애너테이션하기 위해.
• 표면 수준의 패턴을 넘어서 일반화할 수 있도록 하는 트레이닝-테스트 분할 전략을 구현하여 데이터 泄露를 줄이기 위해.
• 순서 민감한 조합이 필요한 작업에서 통계적 신호만으로는 해결되지 않는지 확인하기 위해 bag-of-words 모델을 사전 검증으로 활용하기 위해.
• 기존의 다양한 조합 모델의 문장 임베딩을 탐지하여 특정 조합적 특징을 포착하는 능력을 평가하기 위해.

실험 결과

연구 질문

• RQ1 신경망 모델의 문장 임베딩이 의미 역할 및 부정과 같은 조합적 의미를 얼마나 잘 포착할 수 있는가?
• RQ2 다양한 문장 조합 모델 간에 추상적이고 구조화된 의미 구성 요소를 표현하는 능력에서 어떤 차이가 있는가?
• RQ3 제어된 합성 데이터셋이 기존 평가 벤치마크에서 성능을 과도하게 높이는 표면적 편향을 제거할 수 있는가?
• RQ4 제안된 방법은 문법적 또는 의미적 순서가 필요한 작업에서 모델이 조합성을 포착하지 못할 경우를 신뢰성 있게 탐지할 수 있는가?
• RQ5 생성 시스템을 사용하여 조합적 모델링을 위한 평가 데이터뿐 아니라 훈련 데이터도 생성할 수 있는가?

주요 결과

• 이 방법은 조합적 의미를 포착하는 능력에 따라 문장 조합 모델 간의 차이를 효과적으로 구분하며, 다양한 모델 간 성능 격차가 뚜렷하게 드러남을 입증한다.
• 명시적인 문법적 구조를 통합한 모델은 특히 의미 역할 레이블링 작업에서 조합적 추론이 필요한 과제에서 더 뛰어난 성능을 보인다.
• 순서 민감한 조합이 필요한 과제에서 bag-of-words 기반 모델의 성능은 우연의 수준에 머무르며, 이는 방법이 진정된 조합적 이해를 고립시킬 수 있음을 검증한다.
• 결과는 현재 많은 모델들이 여전히 부정 및 복잡한 의미 역할 관계와 같은 추상적 조합 정보를 다루는 데 어려움을 겪고 있음을 시사한다.
• 단순한 기반 모델이 순서 민감한 과제에서 일관되게 실패함으로써 데이터셋 편향에 대한 방법의 강건성을 입증한다.
• 공개된 데이터셋과 생성 시스템은 재현 가능한 평가 및 더 조합적인 문장 표현 개발을 위한 향후 연구를 가능하게 한다.