[論文レビュー] Concatenated Power Mean Word Embeddings as Universal Cross-Lingual Sentence Representations

Andreas Rücklé, Steffen Eger+2 more|TUbilio (Technical University of Darmstadt)|Mar 4, 2018

Topic Modeling参考文献 21被引用数 74

ひとこと要約

この論文は、多様な単語埋め込みを横断的に結合した power-mean 単語埋め込みを用いて universal cross-lingual sentence representations を作成し、競争力のあるモノリンガル結果と、大量の教師付きデータなしでも強力な跨言語転移を達成する。

ABSTRACT

Average word embeddings are a common baseline for more sophisticated sentence embedding techniques. However, they typically fall short of the performances of more complex models such as InferSent. Here, we generalize the concept of average word embeddings to power mean word embeddings. We show that the concatenation of different types of power mean word embeddings considerably closes the gap to state-of-the-art methods monolingually and substantially outperforms these more complex techniques cross-lingually. In addition, our proposed method outperforms different recently proposed baselines such as SIF and Sent2Vec by a solid margin, thus constituting a much harder-to-beat monolingual baseline. Our data and code are publicly available.

研究の動機と目的

• 言語を超えて転送できる、単純で普遍的な文埋め込みアプローチを動機づける。
• パワー平均を用いて平均語埋め込みを拡張し、異なる文の特性を捉える。
• 結合と正規化でモノリンガルのベースラインを改善し、跨言語ベースラインを上回る。
• 多様な語埋め込みとパワー平均の組み合わせが転移タスクへ与える影響を探る。

提案手法

• 複数の語埋め込み空間から計算されたパワー平均（p値）を連結して文を表現する。
• H_p(W) を文中の語ベクトルに対する次元ごとのパワー平均とし、K 個のパワー平均値と L の埋め込み空間を連結する。
• 複数の埋め込み空間を連結（例: GV, GN, MS, AR）、混合座標の安定化のため z 正規化を適用。
• ロジスティック回帰とランダムサブサンプル検証、比較のため SentEval を用いてモノリンガル転送タスクを評価。
• 強力なベースライン（SIF, Sent2vec, Siamese-CBOW, InferSent）と比較し、整列または翻訳データを用いた跨言語実験を行う。

実験結果

リサーチクエスチョン

• RQ1 複数の語埋め込みとパワー平均を結合すると、タスク間で普遍的な文表現を得られるか。
• RQ2 パワー平均ベースの表現は最新のモノリンガル手法との差を縮め、跨言語ベースラインを上回るか。
• RQ3 正規化と埋め込みの多様性が転移性能に与える影響はどの程度か。
• RQ4 翻訳データと人間翻訳データを用いた場合、跨言語の結果はどう異なるか。

主な発見

Model	AM	AC	CLS	MR	CR	SUBJ	MPQA	SST	TREC
GV	77.2	50.0	70.3	76.6	77.1	78.3	91.3	87.9	80.2	83.4
GN	76.1	50.6	69.4	75.2	76.3	74.6	89.7	88.2	79.9	81.0
MS	73.5	47.1	64.6	74.1	73.0	73.1	86.9	88.8	78.3	76.0
AR	74.1	50.3	63.8	75.3	73.7	72.4	88.0	89.1	78.3	76.0
GV ⊕ GN ⊕ MS ⊕ AR	79.1	53.9	71.1	77.2	78.2	79.8	91.8	89.1	82.8	87.6
GV [-∞,1,∞]	77.9	54.4	69.5	76.4	76.9	78.6	92.1	87.4	80.3	85.6
GN [-∞,1,∞]	77.9	55.6	71.4	75.8	76.4	78.0	90.4	88.4	80.0	85.2
MS [-∞,1,∞]	75.8	52.1	66.6	73.9	73.1	75.8	89.7	87.1	79.1	84.8
AR [-∞,1,∞]	77.6	55.6	68.2	75.1	74.7	77.5	89.5	88.2	80.3	89.6
GV ⊕ GN ⊕ MS ⊕ AR [-∞,1,∞]	80.1	58.4	71.5	77.0	78.4	80.4	93.1	88.9	83.0	90.6

• 複数の語埋め込みとパワー平均を結合すると、個別埋め込みに比べてパフォーマンスが大幅に向上する（モノリンガルで平均約2ポイント）。
• Z正規化はさらに結果を改善し、モノリンガルで InferSent との差を 4.6 ポイントから 0.6 ポイントに縮める。
• 結合したパワー平均アプローチは、低次元性（3600 vs 4096）を用いながら、モノリンガルで InferSent に対して競合し、時には上回る。
• 跨言語の結果は、平均して 9 タスク中 8 タスクで InferSent の適応を上回り、ターゲット言語の監視が限られていても強力な転送を実現。
• 機械翻訳データからのランキングは、人間翻訳データとほぼ一致することを裏付ける（AM の Spearman ρ 96.5%、Pearson τ 98.4%、AC は 83.7% と 89.9%）。
• パワー平均は |p| が大きいと min/max に収束し、正の p 値と追加の平均は収益は変動するが性能が向上する。ただし限界はある。