[論文レビュー] Why Not Simply Translate? A First Swedish Evaluation Benchmark for Semantic Similarity

Tim Isbister, Magnus Sahlgren|arXiv (Cornell University)|Sep 7, 2020

Topic Modeling参考文献 9被引用数 6

ひとこと要約

この論文は、GoogleのNMT APIを用いて英語のSTS-Bデータセットをスウェーデン語に翻訳することで、スウェーデン語の意味的テクスト類似度評価ベンチマークを初めて導入した。翻訳に起因するアーチファクト（英語由来の語彙や時制の不一致など）が存在するが、ベンチマークはスウェーデン語のテキスト表現の評価を可能にし、ネイティブモデル（例：KB/BERT）が多言語モデルを上回ること、また単純なbag-of-wordsにSVMを組み合わせたモデルですら競争力のある性能（r=0.704）を示すことが明らかになった。

ABSTRACT

This paper presents the first Swedish evaluation benchmark for textual semantic similarity. The benchmark is compiled by simply running the English STS-B dataset through the Google machine translation API. This paper discusses potential problems with using such a simple approach to compile a Swedish evaluation benchmark, including translation errors, vocabulary variation, and productive compounding. Despite some obvious problems with the resulting dataset, we use the benchmark to compare the majority of the currently existing Swedish text representations, demonstrating that native models outperform multilingual ones, and that simple bag of words performs remarkably well.

研究の動機と目的

• スウェーデン語における意味的テキスト類似度のための公開評価データの不足に対処すること。
• 機械翻訳を用いて低コストでスケーラブルなスウェーデン語テキスト表現の評価ベンチマークを構築すること。
• 多言語モデルとネイティブモデルを含む、さまざまなスウェーデン語テキスト表現モデルの性能を比較すること。
• 翻訳アーチファクト（例：英語由来語彙、時制の不一致、合成語の使用）がモデル評価および後続の応用に与える影響を評価すること。
• 単純なモデル（例：bag-of-words）が新ベンチマークで強力な性能を示すことを実証すること。

提案手法

• Googleのニューラル機械翻訳（NMT）APIを用いて、英語のSTS-Bデータセットをスウェーデン語に翻訳する。
• 翻訳されたスウェーデン語の文ペアを、意味的類似度モデルの評価用ベンチマークとして使用する。
• fastText、BERTバージョン（KB/BERT、AF/BERT）、XLM-R、LASER、LaBSE、SBERTといった多様なテキスト表現モデルを評価する。
• 単語ベクトルの平均化（fastText、BERT）または文脈を考慮した表現（LASER、LaBSE）により文書埋め込みを計算する。
• 翻訳データを用いて教師ありモデル（SBERT、微調整済みBERT）を訓練し、類似度スコアにはコサイン類似度または回帰出力を使用する。
• 人間の類似度スコアとのピアソン相関係数を用いて、モデルの性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 機械翻訳された英語STS-Bデータセットが、スウェーデン語の意味的類似度モデルの評価に実用的なベンチマークとして機能する程度はどの程度か？
• RQ2 スウェーデン語のネイティブ言語モデルは、多言語モデルと比較して、スウェーデン語ベンチマークにおける意味的類似度性能でどの程度優れているか？
• RQ3 英語由来語彙、時制の不一致、合成語の使用といった翻訳アーチファクトが、モデル評価に与える影響は何か？
• RQ4 SVMを組み合わせた単純な非文脈的モデル（例：bag-of-words）は、新ベンチマークで競争力のある性能を示せるか？
• RQ5 XLM-R や LaBSE といった多言語モデルを用いたクロスリンガル転送は、スウェーデン語STSベンチマークでどの程度効果的か？

主な発見

• 翻訳アーチファクト（例：英語由来語彙、時制の不一致）が存在するが、機械翻訳されたスウェーデン語STS-Bベンチマークは、モデル比較の目的には依然として使用可能である。
• スウェーデン語データ上で微調整されたネイティブスウェーデン語BERTモデル（例：KB/BERT）が最高の性能を示し、ピアソン相関係数は0.782に達した。
• 単純なbag-of-wordsにサポートベクターレグレッションを適用したモデルは、計算コストが極めて低いにもかかわらず、相関係数0.704を達成し、強力な競争力を示した。
• 多言語モデルの中では、LASERが非教師あり設定で最も優れた性能（r=0.714）を示したが、英語STS-Bで微調整されたSBERTによりXLM-Rの性能はr=0.751まで向上した。
• 多言語モデルをスウェーデン語データ上で微調整することで、性能がさらに向上した。これは、クロスリンガル転送の価値を示している。
• 誤った時制や非標準的な語彙（例：'tar fart' が 'taking off' を意味する場合）のような翻訳エラーは、エラーが文のペア間で一貫している限り、ベンチマークのモデル比較への有用性を著しく低下させない。