[논문 리뷰] Enhancing Sentence Embedding with Generalized Pooling

Qian Chen, Zhen-Hua Ling외 1명|arXiv (Cornell University)|2018. 06. 26.

Topic Modeling참고 문헌 37인용 수 59

한 줄 요약

본 논문은 중복을 줄이기 위한 페널티 항이 포함된 벡터 기반 다중 헤드 일반화 풀링을 제안하고, SNLI, MultiNLI, Yelp 및 Age 데이터셋에서 최첨단 문장 임베딩을 달성한다.

ABSTRACT

Pooling is an essential component of a wide variety of sentence representation and embedding models. This paper explores generalized pooling methods to enhance sentence embedding. We propose vector-based multi-head attention that includes the widely used max pooling, mean pooling, and scalar self-attention as special cases. The model benefits from properly designed penalization terms to reduce redundancy in multi-head attention. We evaluate the proposed model on three different tasks: natural language inference (NLI), author profiling, and sentiment classification. The experiments show that the proposed model achieves significant improvement over strong sentence-encoding-based methods, resulting in state-of-the-art performances on four datasets. The proposed approach can be easily implemented for more problems than we discuss in this paper.

연구 동기 및 목표

• 문장을 여러 측면으로 포착할 수 있는 일반화 풀링을 통해 개선된 문장 임베딩의 필요성을 제시한다.
• 스칼라 어텐션/풀링을 벡터 기반 다중 헤드 어텐션으로 확장하여 표현력을 풍부하게 한다.
• 어텐션 헤드와 그 출력 간의 중복을 줄이기 위한 페널티 항(매개변수 행렬, 어텐션 행렬, 문장 임베딩)에 도입한다.
• 자연어 추론, 저자 프로파일링, 감성 분류 데이터셋에서 제안을 평가한다.
• 다수의 데이터셋에서 강한 문장 인코딩 기준선 대비 유의한 성능 향상을 보인다.

제안 방법

• 단어 및 문자 임베딩을 갖춘 BiLSTM 기반 시퀀스 인코더를 구축한다.
• 여러 개의 어텐션 벡터를 생성하고 이를 연결하여 최종 문장 표현으로 합치는 벡터 기반 다중 헤드 어텐션을 개발한다.
• 어텐션 헤드와 그 출력 간의 다양성을 촉진하기 위해 세 가지 페널티 항(매개변수 행렬, 어텐션 행렬, 문장 임베딩)에 도입한다.
• NLI를 위한 문장 임베딩을 연결 및 요소별 연산으로 융합한 뒤, 분류를 위한 두 층 MLP와 쇼트컷 연결을 사용한다.
• 교차 엔트로피 손실로 끝-to-end 학습하며, 문장 및 쌍 기반 분류에 대해 작업 간 MLP 아키텍처를 공유한다.

실험 결과

연구 질문

• RQ1 벡터 기반 다중 헤드 어텐션이 스칼라 어텐션 방법에 비해 문장 임베딩을 개선하는가?
• RQ2 페널티 항이 어텐션 헤드 간 중복을 줄이고 성능을 향상시키는 데 어떤 영향을 미치는가?
• RQ3 일반화 풀링 접근법이 강력한 기준선과 비교하여 NLI, 저자 프로파일링, 감성 분류 작업에서 어떻게 수행하는가?
• RQ4 데이터셋별 설정(헤드 수, 헤드 차원, 학습 방식 등)이 이득을 극대화하는 방식은 무엇인가?

주요 결과

• 테스트 세트에서 SNLI 86.6%의 최첨단 정확도를 달성(이전 최고 86.3% 대비).
• MultiNLI에서 인도메인 73.8%, 교차 도메인 74.0%의 정확도에 도달(교차 도메인에서 최저점 74.0%로 최고).
• Yelp 및 Age 데이터셋에서 일반화 풀링 모델은 각각 66.55%(Yelp)와 82.63%(Age)를 달성하여 강력한 기준선을 상회.
• 다수 헤드를 가진 벡터 기반 어텐션이 스칼라 어텐션보다 우수; 9-헤드 모델이 최적의 검증 정확도(86.8% 대 스칼라의 86.4%)를 달성.
• 페널리제이션 항이 데이터셋 전반에서 성능을 현저히 향상시키며, 매개변수 행렬 페널리제이션이 여러 작업에서 가장 큰 이득을 제공한다.