[論文レビュー] Improving Multilingual Semantic Textual Similarity with Shared Sentence Encoder for Low-resource Languages

Xin Tang, Shanbo Cheng+6 more|arXiv (Cornell University)|Oct 20, 2018

Topic Modeling参考文献 24被引用数 6

ひとこと要約

本論文は、双方向翻訳の事前学習タスクを通じて豊富なリソース言語（例：英語）のデータを活用することで、スペイン語、アラビア語、タイ語、インドネシア語などの低リソース言語における意味的テクスト類似度（STS）を向上させる、マルチリンガル共有文ベクトルエンコーダーフレームワークを提案する。この手法は、共有エンコーダーを介して複数の言語固有の文表現を生成し、それらをアンサンブルすることで類似度予測を向上させる。非MTベースの最先端手法を上回り、SemEvalおよび産業界の spoken-language データにおいてMTベースの手法と同等の性能を達成した。

ABSTRACT

Measuring the semantic similarity between two sentences (or Semantic Textual Similarity - STS) is fundamental in many NLP applications. Despite the remarkable results in supervised settings with adequate labeling, little attention has been paid to this task in low-resource languages with insufficient labeling. Existing approaches mostly leverage machine translation techniques to translate sentences into rich-resource language. These approaches either beget language biases, or be impractical in industrial applications where spoken language scenario is more often and rigorous efficiency is required. In this work, we propose a multilingual framework to tackle the STS task in a low-resource language e.g. Spanish, Arabic , Indonesian and Thai, by utilizing the rich annotation data in a rich resource language, e.g. English. Our approach is extended from a basic monolingual STS framework to a shared multilingual encoder pretrained with translation task to incorporate rich-resource language data. By exploiting the nature of a shared multilingual encoder, one sentence can have multiple representations for different target translation language, which are used in an ensemble model to improve similarity evaluation. We demonstrate the superiority of our method over other state of the art approaches on SemEval STS task by its significant improvement on non-MT method, as well as an online industrial product where MT method fails to beat baseline while our approach still has consistently improvements.

研究の動機と目的

• ラベル付きデータが乏しい低リソース言語における意味的テクスト類似度（STS）の課題に対処すること。
• 既存のMTベースの手法の限界、特に非公式なテキストにおける翻訳品質の低下やリアルタイムシステムにおける高遅延を克服すること。
• 言語固有の特徴や前処理を必要とせず、豊富なリソース言語のデータを活用する汎用的で効率的なフレームワークを構築すること。
• 共有マルチリンガルエンコーダーを用いて複数の言語固有の文表現を生成することで、低リソース言語におけるSTSのパフォーマンスを向上させること。
• 公開ベンチマーク（SemEval）および実世界の産業応用（spoken-language）の両方で、このフレームワークの有効性を示すこと。

提案手法

• 大規模な並列単言語およびマルチリンガルコーパスを用いて、双方向機械翻訳タスクで共有マルチリンガルエンコーダーを事前学習する。
• モデルは、元言語および対象言語の両方で共通のTransformerベースのエンコーダーと共通のデコーダーを使用し、言語間のアライメントを実現する。
• 自己翻訳を、ノイズ除去オートエンコーダーに類似した目的関数として組み込み、事前学習中に意味的整合性を保持する。
• 各入力文に対して、言語トークンを前置することで、異なる言語固有の意味的空間における複数の表現を生成する。
• 共有マルチレイヤーパーセプトロン（MLP）を用いて、これらのマルチリンガル表現をアンサンブルし、文類似度を予測する。
• 言語固有の特徴や前処理を一切使用せず、豊富なリソース言語および低リソース言語のラベル付きSTSデータで微調整する。

実験結果

リサーチクエスチョン

• RQ1 翻訳タスクで事前学習された共有マルチリンガル文エンコーダーは、低リソース言語におけるSTSパフォーマンスを向上させることができるか？
• RQ2 本手法は、低リソースSTS設定における非MTベースおよびMTベースのベースラインと比較してどのように異なるか？
• RQ3 共有エンコーダーを介して複数の言語固有の文表現を生成することで、類似度評価が向上するか？
• RQ4 MT品質が低下する非公式なテキストや会話言語入力において、このフレームワークは高いパフォーマンスを維持できるか？
• RQ5 マルチリンガルデータで事前学習することで、ゼロショットまたはフェイワショットSTSパフォーマンスはどの程度向上するか？

主な発見

• SemEval 2017 スペイン語（es-es）タスクにおいて、英語およびスペイン語のデータとマルチリンガル表現で微調整した場合、スピアマン相関係数が 0.825 を達成し、非MTベースラインを顕著に上回った。
• スペイン語のみのトレーニングデータで学習した場合、事前学習後にスピアマン相関係数が 0.188 から 0.727 に向上し、強力なフェイワショット一般化性能を示した。
• SemEval での非MT最先端手法を上回り、スペイン語およびアラビア語ペアにおいてMTベースの手法と同等の性能を達成した。
• タイ語およびインドネシア語の会話言語データにおける産業界でのデプロイでは、MTベースのベースラインを一貫して上回り、この設定ではMTベースラインがベースラインをも下回った。
• 最小限のラベル付きデータでも事前学習がパフォーマンスを顕著に向上させ、マルチリンガル表現学習が低リソースシナリオにおいて有効であることを示した。
• アブレーションスタディにより、事前学習およびマルチリンガル表現の導入が、特に低リソース設定においてパフォーマンス向上に不可欠であることが確認された。