[論文レビュー] Word2Vec vs DBnary: Augmenting METEOR using Vector Representations or Lexical Resources?

Christophe Servan, Alexandre Bérard+3 more|arXiv (Cornell University)|Oct 5, 2016

Natural Language Processing Techniques参考文献 39被引用数 7

ひとこと要約

本稿では、機械翻訳評価のためのMETEORメトリックを、単語ベクトル表現（Word2Vec）と語彙リソース（DBnary）を統合することで向上させる手法を提案する。分散表現が従来の語彙リソースと補完的であり、場合によってはそれらを上回る性能を発揮することを実証した。WMT 2014データを用いた実験では、しきい値チューニングを適用することで、両者のアプローチを組み合わせることで人間の評価との相関が向上することを示した。

ABSTRACT

This paper presents an approach combining lexico-semantic resources and distributed representations of words applied to the evaluation in machine translation (MT). This study is made through the enrichment of a well-known MT evaluation metric: METEOR. This metric enables an approximate match (synonymy or morphological similarity) between an automatic and a reference translation. Our experiments are made in the framework of the Metrics task of WMT 2014. We show that distributed representations are a good alternative to lexico-semantic resources for MT evaluation and they can even bring interesting additional information. The augmented versions of METEOR, using vector representations, are made available on our Github page.

研究の動機と目的

• 分散単語表現（Word2Vec）が、DBnaryのような従来の語彙リソースと比較して、機械翻訳評価メトリックの性能を向上させられるかどうかを調査すること。
• とりわけ低リソースのターゲット言語において、言語固有の語彙リソースが存在しない状況下での単語埋め込みの貢献を評価すること。
• ベクトル表現と語彙リソースの両方を統合した、拡張されたMETEORのバージョンを開発・評価し、文の類似度検出性能を向上させること。
• 再現可能性とさらなる研究を支援するため、拡張されたMETEORのバージョンのオープンソース実装を提供すること。

提案手法

• 仮説翻訳と参照翻訳の単語間の意味的類似度を同定するために、事前学習済みのWord2Vec埋め込みを用いる新しい「ベクトル」モジュールをMETEORに拡張する。
• DBnary、多言語対応語彙リソースを、METEORにおけるクロスリンガル単語マッチングのベースライン同義語モジュールとして統合する。
• ベクトルモジュールとDBnaryモジュールを統合したハイブリッドMETEORバージョンを構築し、補完性と性能向上を評価する。
• 仮説文と参照文内の単語ベクトル間のマッチングを最適化するため、コサイン類似度しきい値（0.75～0.80）をチューニングする。
• 翻訳出力のカバレッジを確保するため、大規模な単語彙および並列コーパスを用いて、単言語および多言語のWord2Vecモデルを学習する。
• 人間の評価（HTER）との相関を主な指標とするWMT 2014メトリクスタスクを用いて、拡張されたMETEORバージョンを評価する。

実験結果

リサーチクエスチョン

• RQ1 分散単語表現（Word2Vec）は、DBnaryのような語彙リソースと比較して、機械翻訳評価において実用的代替手段として機能できるか？
• RQ2 ベクトルベースの類似度測定と語彙リソースベースの同義語マッチングの両者を、人間の評価との相関という観点から比較するとどうなるか？
• RQ3 単語埋め込みと語彙リソースは、METEORの性能向上においてどの程度補い合っているか？
• RQ4 ベクトルモジュールにおける類似度しきい値のチューニングが、人間評価スコアとの相関に顕著な向上をもたらすか？
• RQ5 ベクトルモジュールは、語彙リソースでカバーされていない内容語や機能語（例：前置詞）に対しても、効果的にマッチングできるか？

主な発見

• Word2Vec埋め込みを統合したMETEORの拡張バージョン（METEOR Vector）は、WMT 2014テストセットにおいて人間の評価（HTER）との相関が0.526に達し、ベースラインMETEORを上回った。
• ハイブリッドMETEOR DBnary + VectorモデルはHTERと0.532の相関を示し、単語埋め込みが語彙リソースの情報に加えて補完的で追加の情報を提供していることを示した。
• ベクトルモジュールのコサイン類似度しきい値を0.80から0.75に低下させることで性能が向上し、特に「du」や「de」のような低頻度語や機能語のマッチングにおいて顕著だった。
• ベクトルモジュールは、DBnaryにリンクされていなくても「pense」と「estime」、「employées」と「utilisées」のような意味的に類似した語を効果的にマッチングできた。
• 単語彙ベースのWord2VecモデルがMT評価において十分であることが判明した。これは、多言語または二言語の埋め込みがこのタスクにおいて必須ではないことを示唆している。
• 本研究では、語彙リソースが存在しない低リソース言語環境において、単語埋め込みが語彙リソースの有効な代替手段として機能できることを示した。