[論文レビュー] SemEval-2017 Task 1: Semantic Textual Similarity - Multilingual and Cross-lingual Focused Evaluation

Daniel Cer, Mona Diab+3 more|HAL (Le Centre pour la Communication Scientifique Directe)|Jul 31, 2017

Topic Modeling被引用数 306

ひとこと要約

本論文は、SemEval-2017の多言語・跨言語STS共有タスクを提示し、アラビア語、スペイン語、トルコ語、跨言語ペアにわたるトラック、データ準備、注釈、訓練/評価データ、参加者の手法、結果、およびSTS Benchmarkの導入を詳述する。

ABSTRACT

Semantic Textual Similarity (STS) measures the meaning similarity of sentences. Applications include machine translation (MT), summarization, generation, question answering (QA), short answer grading, semantic search, dialog and conversational systems. The STS shared task is a venue for assessing the current state-of-the-art. The 2017 task focuses on multilingual and cross-lingual pairs with one sub-track exploring MT quality estimation (MTQE) data. The task obtained strong participation from 31 teams, with 17 participating in all language tracks. We summarize performance and review a selection of well performing methods. Analysis highlights common errors, providing insight into the limitations of existing models. To support ongoing work on semantic representations, the STS Benchmark is introduced as a new shared training and evaluation set carefully selected from the corpus of English STS shared task data (2012-2017).

研究の動機と目的

• 複数言語および跨言語ペアにわたる意味的テキスト類似性（STS）の動機付けと評価。
• 多言語意味表現の前進を促す共用の評価フレームワークを提供。
• 英語STS手法の比較可能で継続的な評価を可能にするSTS Benchmarkを導入。
• 多言語設定における現在のSTSモデルの共通のエラーと制限について洞察を提供。

提案手法

• 6つのトラックがアラビア語、アラビア語-英語、スペイン語、スペイン語-英語、スペイン語-英語 MT、英語、トルコ語-英語（トラック6）をカバーする。
• クラウドソーシングによる注釈（トラック1–5）と専門家による注釈（トラック4b）。
• SNLI由来の評価データと厳選された文ペアおよびコサイン類似度ベースの埋め込み空間を用いたペア選択。
• 機械翻訳を用いて基準と比較の言語を統一するMTベースの跨言語トラック。
• 訓練データは英語、スペイン語、および翻訳されたアラビア語/トルコ語データから組み立てられ、Track 4bにはMT品質推定データを追加。
• 評価は人間のSTS判断に対するPearson相関を用い、ベースラインは二値語ベクトルのコサイン測度。
• STS Benchmarkは標準化された訓練/評価のため、英語STSデータ（2012年–2017年）から作成。

実験結果

リサーチクエスチョン

• RQ1 多言語および跨言語のSTSモデルは、アラビア語、スペイン語、トルコ語、および跨言語ペアにおける人間の判断とどの程度相関するか？
• RQ2 多言語STSにおける主な移行の課題（例：翻訳エラー、意味的移行）は何か。
• RQ3 多言語/跨言語STSにおける特徴量設計済みシステムと深層学習モデルをどのように比較できるか。
• RQ4 STSスコアとMT品質推定スコアの関係はどうか？
• RQ5 共通のベンチマーク（STS Benchmark）は時間を超えた研究間の比較可能性をサポートできるか？

主な発見

• ECNUが全トラックの平均で最高を記録（r ≈ 0.7316）。
• トラック2（アラビア語-英語）は r ≈ 0.7493、トラック3（スペイン語）は r ≈ 0.8559、トラック6（トルコ語-英語）は ECNU で r ≈ 0.7706。
• トラック4a（SNLIスペイン語-英語）は CompiLIG がトップ（r ≈ 0.8302）。
• トラック4b（スペイン語-英語 MT）では SEF@UHH がトップで r ≈ 0.3407。
• ベースラインのコサイン文ベクトル法はトラック1–5で平均 r を53.7と示し、シンプルなベースラインとトップシステムの間の性能差を示している。
• STS Benchmarkは年次（2012–2017）を跨ぐ比較評価を可能にし、最新の進歩を追跡するのに役立つ。