[논문 리뷰] Concatenated Power Mean Word Embeddings as Universal Cross-Lingual Sentence Representations

Andreas Rücklé, Steffen Eger외 2명|TUbilio (Technical University of Darmstadt)|2018. 03. 04.

Topic Modeling참고 문헌 21인용 수 74

한 줄 요약

이 논문은 다양한 단어 임베딩에 걸친 연결된 파워-mean 단어 임베딩을 사용해 보편적 크로스-링구얼 문장 표현을 만들고, 대규모 감독 데이터 없이도 강력한 교차 언어 전이 및 경쟁력 있는 단일 언어 결과를 달성합니다.

ABSTRACT

Average word embeddings are a common baseline for more sophisticated sentence embedding techniques. However, they typically fall short of the performances of more complex models such as InferSent. Here, we generalize the concept of average word embeddings to power mean word embeddings. We show that the concatenation of different types of power mean word embeddings considerably closes the gap to state-of-the-art methods monolingually and substantially outperforms these more complex techniques cross-lingually. In addition, our proposed method outperforms different recently proposed baselines such as SIF and Sent2Vec by a solid margin, thus constituting a much harder-to-beat monolingual baseline. Our data and code are publicly available.

연구 동기 및 목표

• 언어 간 전이 가능한 단순하고 보편적인 문장 임베딩 접근법을 제시한다.
• 파워 평균을 사용해 다양한 문장 특성을 캡처하기 위해 평균 단어 임베딩을 확장한다.
• 연결 및 정규화를 통해 단일 언어 베이스라인을 개선하고 크로스-링구얼 베이스라인을 능가한다.
• 다양한 단어 임베딩과 파워 평균의 결합이 전이 태스크에 미치는 영향을 탐구한다.

제안 방법

• 여러 단어 임베딩 공간에서 계산된 파워 평균(p-값)을 연결해 문장을 표현한다.
• 문장 단어 벡터의 차원별 파워 평균(H_p(W))을 나타낸 뒤, K개의 파워-평균값과 L개의 임베딩 공간을 연결한다.
• 여러 임베딩 공간(GV, GN, MS, AR)을 연결하고 좌표 혼합의 안정화를 위해 z-정규화를 적용한다.
• 로지스틱 회귀와 무작위 하위 샘플 검증 및 비교를 위한 SentEval를 사용해 단일 언어 전이 태스크를 평가한다.
• 강력한 베이스라인(SIF, Sent2vec, Siamese-CBOW, InferSent)과 비교하고 정렬된 또는 번역 데이터를 사용한 크로스-링구얼 실험을 수행한다.

실험 결과

연구 질문

• RQ1 다양한 단어 임베딩을 결합하고 여러 파워 평균을 사용하는 것이 태스크 전반에 걸친 보편적 문장 표현을 만들어내는가?
• RQ2 파워-평균 기반 표현이 최신의 단일 언어 방법과의 간극을 줄이고 크로스-링구얼 베이스라인을 능가하는가?
• RQ3 z-정규화와 임베딩 다양성이 전이 성능에 미치는 영향은 무엇인가?
• RQ4 번역 데이터를 사용할 때의 크로스-링구얼 결과가 사람의 번역과 비교해 어떤 차이가 있는가?

주요 결과

모델	AM	AC	CLS	MR	CR	SUBJ	MPQA	SST	TREC
GV	77.2	50.0	70.3	76.6	77.1	78.3	91.3	87.9	80.2	83.4
GN	76.1	50.6	69.4	75.2	76.3	74.6	89.7	88.2	79.9	81.0
MS	73.5	47.1	64.6	74.1	73.0	73.1	86.9	88.8	78.3	76.0
AR	74.1	50.3	63.8	75.3	73.7	72.4	88.0	89.1	78.3	76.0
GV ⊕ GN ⊕ MS ⊕ AR	79.1	53.9	71.1	77.2	78.2	79.8	91.8	89.1	82.8	87.6
GV [-∞,1,∞]	77.9	54.4	69.5	76.4	76.9	78.6	92.1	87.4	80.3	85.6
GN [-∞,1,∞]	77.9	55.6	71.4	75.8	76.4	78.0	90.4	88.4	80.0	85.2
MS [-∞,1,∞]	75.8	52.1	66.6	73.9	73.1	75.8	89.7	87.1	79.1	84.8
AR [-∞,1,∞]	77.6	55.6	68.2	75.1	74.7	77.5	89.5	88.2	80.3	89.6
GV ⊕ GN ⊕ MS ⊕ AR [-∞,1,∞]	80.1	58.4	71.5	77.0	78.4	80.4	93.1	88.9	83.0	90.6

• 다양한 단어 임베딩과 파워 평균을 결합하면 개별 임베딩 대비 성능이 크게 향상되며(단일 언어 평균 약 2pp),
• z-정규화는 결과를 further 개선하여 단일 언어에서 InferSent와의 격차를 4.6pp에서 0.6pp로 줄인다.
• 연결된 파워-평균 접근법은 단일 언어에서 InferSent와 경쟁적이며, 차원 수가 3600으로 더 낮은 편이다(4096 대).
• 크로스-링구얼 결과는 평균적으로 9개 태스크 중 8개에서 InferSent 변형보다 우위를 보이고 제한된 대상 언어 감독에서도 강력한 전이를 달성한다.
• 크로스-링구얼 MT 평가에서 기계 번역 데이터의 순위가 사람의 번역 데이터와 크게 일치함을 확인(AM에서 Spearman ρ 96.5%, Pearson τ 98.4%; AC에서 83.7%와 89.9%)
• 파워-평균은 |p|가 커지면 최소/최대에 수렴하고, 음수인 p-값에 추가 평균이 더해지면 더 나은 성능을 보이나 수익은 감소한다.