[論文レビュー] Splitting Compounds by Semantic Analogy

Joachim Daiber, Lautaro Quiroz+2 more|arXiv (Cornell University)|Sep 15, 2015

Natural Language Processing Techniques参考文献 16被引用数 7

ひとこと要約

この論文は、分布的意味論と単語埋め込みを用いて、ドイツ語の合成語を文脈に基づく類推によって無教師で分割する手法を提案する。合成語の構造を類推でモデル化することで—例えば、'Hauptziel は Ziel に対して Hauptader は Ader に対して'—本手法は合成語の構成要素とプロトタイプを特定し、ゴールドスタンダードの分割タスクおよび機械翻訳タスクにおいて、頻度ベースのベースラインを著しく上回る。特に曖昧な合成語において顕著な性能向上を示す。

ABSTRACT

Compounding is a highly productive word-formation process in some languages that is often problematic for natural language processing applications. In this paper, we investigate whether distributional semantics in the form of word embeddings can enable a deeper, i.e., more knowledge-rich, processing of compounds than the standard string-based methods. We present an unsupervised approach that exploits regularities in the semantic vector space (based on analogies such as "bookshop is to shop as bookshelf is to shelf") to produce compound analyses of high quality. A subsequent compound splitting algorithm based on these analyses is highly effective, particularly for ambiguous compounds. German to English machine translation experiments show that this semantic analogy-based compound splitter leads to better translations than a commonly used frequency-based method.

研究の動機と目的

• 分布的意味論とベクトル空間内の規則性が、表面的な文字列パターンを越えて合成語の構成をモデル化できるかどうかを調査すること。
• ドイツ語の合成語におけるデータスパarsity問題を、より深い知識に基づいた合成語分析のために、意味的類推を活用することで解決すること。
• 曖昧な合成語や翻訳タスクにおける性能向上を図る、無教師の合成語分割アルゴリズムを開発すること。
• 標準的な頻度ベースの分割法と比較して、実世界の機械翻訳環境で本手法の性能を評価すること。

提案手法

• 既知の合成語ペアから得られる方向ベクトルを用いて、語の埋め込み空間における意味的類推（例：v(Hauptziel) - v(Ziel) ≈ v(Hauptader) - v(Ader)）を用いて、合成語構造をベクトル変換としてモデル化する。
• 既知の合成語ペアから方向ベクトルを抽出することで、合成語の意味的ヘッドを表すプロトタイプを特定する。
• 候補となる分割（例：Haupt|mann）がプロトタイプ変換パターンと一致するかをテストするグリーディーな合成語分割アルゴリズムを適用する。
• 事前学習済みの単語埋め込みを活用して、合成語の構成要素とそのヘッド語の間の類推的関係を検出する。
• Mosesを用いたフレーズベースのSMTシステムに分割器を統合し、OOV語、レア語、およびすべての語に対してテストを実施する。
• BLEUおよびMETEORスコアの統計的有意性を検証するために、ブートストラップリサンプリングを用いる。

実験結果

リサーチクエスチョン

• RQ1 語の埋め込み空間における意味的類推は、ドイツ語の合成語の構造的組み立て方をモデル化できるか？
• RQ2 既知の合成語から導出されたプロトタイプベースのベクトル変換は、未知の合成語の構成要素を推定するために利用できるか？
• RQ3 類推ベースの分割は、合成語の曖昧性解消および下流のNLPタスクにおいて、頻度ベースの手法を上回るか？
• RQ4 類推ベースの分割は、特に希少語や曖昧な合成語において、機械翻訳の性能をどの程度向上させるか？

主な発見

• 類推ベースの分割器を用いることで、頻度ベースのMoses分割器と比較して、希少語（c(w) < 20）に対してBLEU（18.2 対 17.9）およびMETEOR（26.1 対 25.8）で統計的に有意な改善が得られた。
• 全テストセットにおいて、類推ベースの手法はBLEUスコア17.7、METEORスコア26.3を達成し、ベースラインを上回り、一貫した向上を示した。
• 本手法は、複数の妥当な分割が存在するため頻度ベースの手法が失敗する曖昧な合成語において特に効果的であった。
• 希少語に限定して適用した場合、類推ベースの分割器は、最も性能の高かった頻度ベースのベースラインを統計的に有意に上回った（p < 0.05）。
• 本手法はテストセットで1616の合成語を分割でき、実世界の翻訳環境において高いカバレッジと有効性を示した。
• 結果から、より適切な分割対象の選定（例：希少語や曖昧な合成語に焦点を当てる）により、さらなる性能向上が可能であると示唆された。