[論文レビュー] MUSE: Modularizing Unsupervised Sense Embeddings

Guang-He Lee, Yun-Nung Chen|arXiv (Cornell University)|Apr 15, 2017

Topic Modeling参考文献 23被引用数 5

ひとこと要約

MUSEは、意味選択と表現学習を別々で最適化可能なコンponentに分離するモジュラーなフレームワークを提案する。探索戦略を用いた強化学習を活用することで、線形時間の意味選択と、意味レベルの表現学習に特化した、合成語選択および文脈的語の類似度（MaxSimC）において最先端の性能を達成する。

ABSTRACT

This paper proposes to address the word sense ambiguity issue in an unsupervised manner, where word sense representations are learned along a word sense selection mechanism given contexts. Prior work focused on designing a single model to deliver both mechanisms, and thus suffered from either coarse-grained representation learning or inefficient sense selection. The proposed modular approach, MUSE, implements flexible modules to optimize distinct mechanisms, achieving the first purely sense-level representation learning system with linear-time sense selection. We leverage reinforcement learning to enable joint training on the proposed modules, and introduce various exploration techniques on sense selection for better robustness. The experiments on benchmark data show that the proposed approach achieves the state-of-the-art performance on synonym selection as well as on contextual word similarities in terms of MaxSimC.

研究の動機と目的

• 手動のアノテーションなしで、自然言語処理における語の意味の曖昧さに対処し、多義語表現を学習すること。
• 従来の統合モデルが語レベルと意味レベルのトークンを混合するか、指数時間のデコード複雑性に苦しむという限界を克服すること。
• スケーラブルな展開に適した、効率的で線形時間の意味選択を実現する、完全に意味レベルの表現学習を可能にすること。
• 意味選択と表現を同時に最適化する1つの目的関数を用いた、統合学習フレームワークの構築。
• 強化学習における新しい探索技法を通じて、意味選択のロバスト性と柔軟性を向上させること。

提案手法

• 意味表現システムを2つのモジュラーなコンponentに分解する：意味表現モジュールと意味選択モジュール。
• エージェントが文脈埋め込みに基づいて意味の識別子を選択するように、強化学習を用いてモジュールを共同で学習する。
• 意味選択を逐次意思決定問題として定式化し、方策勾配法を用いて選択方策を最適化する。
• 強化学習ループ内に、ε-greedyおよびボルツマン探索といった探索戦略を導入し、意味バリアントのロバスト性とカバレッジを向上させる。
• 方策最適化の報酬信号として、意味レベルのコサイン類似度を用い、合成語選択やMaxSimC評価といった下流タスクと整合させる。
• 学習済みの意味埋め込みにおけるk近傍法を用いて、定性的な分析および意味の解釈を実施する。

実験結果

リサーチクエスチョン

• RQ1 モジュラーなフレームワークは、未教師付き設定において、効率的な線形時間の意味選択と、完全に意味レベルの表現学習を両立できるか？
• RQ2 構造化された探索を用いた強化学習は、従来のクラスタリングや確率的手法に比べ、意味選択の正確性で優れているか？
• RQ3 1つの統一された目的関数が、モジュラーなシステムにおいて意味表現と選択の両方を効果的に最適化できるか？
• RQ4 強化学習における探索技法の導入が、意味埋め込みのロバスト性と一般化性能に与える影響はいかほどか？
• RQ5 提案手法は、合成語選択や文脈的語類似度といったベンチマークタスクにおいて、どの程度性能を向上させるか？

主な発見

• MUSEは、合成語選択およびMaxSimC評価において、すべての未教師付きベースラインを上回る最先端の性能を達成した。
• MUSE-BoltzmannおよびMUSE-ε-greedyの変種は、既存の未教師付き手法を著しく上回り、MUSE-Boltzmannは一部の設定で教師ありベースラインに近づいた。
• k-NN分析により、'tie'、'blackberry'、'head'といった語が多様な文脈で正しい意味に割り当てられていることが確認され、意味表現が意味的に整合的であることが裏付けられた。
• モジュラー設計により、語レベルのトークンを混合することなく、完全に意味レベルの表現学習が可能となり、表現学習における曖昧さが回避された。
• 意味選択モジュールのおかげで線形時間の意味デコードが達成され、大規模なNLP応用に適したスケーラブルなシステムが実現された。
• 強化学習における探索技法のおかげで、学習済みの意味バリアントのロバスト性とカバレッジが著しく向上し、タスク全体にわたる一貫した性能向上が実証された。