[論文レビュー] Term Set Expansion based on Multi-Context Term Embeddings: an End-to-end Workflow

Jonathan Mamou, Oren Pereg+8 more|arXiv (Cornell University)|Jul 26, 2018

Topic Modeling参考文献 5被引用数 7

ひとこと要約

SetExpander は、多文脈用語埋め込みを用いて、従来の bag-of-words アプローチよりも機能的類似性検出を向上させる、コーパスベースのエンドツーエンド型用語セット拡張システムである。反復的シード選択、拡張、検証、保存を可能とし、リクルートメントシステムでは 94.5–98.0% の精度を達成し、ソフトウェア工学応用では欠陥検出精度を 10% 以上向上させた。

ABSTRACT

We present SetExpander, a corpus-based system for expanding a seed set of terms into a more complete set of terms that belong to the same semantic class. SetExpander implements an iterative end-to end workflow for term set expansion. It enables users to easily select a seed set of terms, expand it, view the expanded set, validate it, re-expand the validated set and store it, thus simplifying the extraction of domain-specific fine-grained semantic classes. SetExpander has been used for solving real-life use cases including integration in an automated recruitment system and an issues and defects resolution system. A video demo of SetExpander is available at https://drive.google.com/open?id=1e545bB87Autsch36DjnJHmq3HWfSd1Rv (some images were blurred for privacy reasons).

研究の動機と目的

• 小さなシード用語セットから微細なドメイン固有の意味的クラスを抽出する課題に対処すること。
• トピック的類似性だけでなく機能的類似性を捉えることで、用語セット拡張を改善すること、特に複数のシード用語が関与する場合に有効である。
• 反復的拡張と検証を支援する実用的でインタラクティブで拡張可能なシステムの開発。
• リクルートメントや欠陥解決などの実世界の自然言語処理応用に向けたスケーラブルで自動生成された意味的用語リストの作成。
• 先行手法を上回る正確性と効率性を実現するオープンソースでプロダクション環境対応のシステムの提供。

提案手法

• 本システムは、線形的、文法的、従属関係に基づく文脈を統合することで機能的類似性を捉える多文脈埋め込みアプローチを採用している。
• 正規化、編集距離、word2vec類似度を用いて、用語の変種（例：別名、頭字語）をクラスタリングすることで用語グループを形成する。
• 多層パーセプトロン（MLP）分類器が、シードセットとの類似度に基づいて候補用語グループの順位付けに用いる「確信度スコア」を計算する。
• 反復的ワークフローをサポート：シード選択 → 拡張 → 検証 → 再拡張 → 保存。
• 本システムは NLP Architect に基づいて構築されており、Apache ライセンスの下で配布され、生産環境の自然言語処理パイプラインへの統合を可能にしている。
• コーパスベースの学習では、名詞句の抽出により候補用語を抽出し、用語グループ埋め込みを用いることで耐障害性を向上させている。

実験結果

リサーチクエスチョン

• RQ1 機能的類似性を捉えることで、トピック的類似性にとどまらない用語セット拡張をどのように改善できるか？
• RQ2 線形的、文法的、従属関係の3種類の文脈タイプをどのように統合することで、セット拡張のための埋め込み品質を向上させられるか？
• RQ3 インタラクティブでエンドツーエンドのワークフローは、実世界の自然言語処理応用における用語セット拡張の使いやすさと有効性をどのように向上させられるか？
• RQ4 多文脈埋め込みは、意味的に関連しているが機能的に異なる用語によるノイズをどの程度低減できるか？
• RQ5 反復的拡張と検証は、ドメイン固有の意味的クラス抽出の正確性とスケーラビリティをどのように向上させられるか？

主な発見

• リクルートメントシステムにおけるソフトウェア機械学習エンジニア職の採用候補者上位 100 名での精度が 94.5% を達成した。
• ファームウェアエンジニア職では 98.0% の精度を達成し、多様な技術分野においても高い正確性を示した。
• ADAS セニアソフトウェアエンジニア職では 70.5% の精度を達成し、複雑で専門性の高い分野でも優れたパフォーマンスを示した。
• 欠陥解決システムへの SetExpander の統合により、重複検出精度が 10% 以上向上した。
• 用語リスト生成時間が週単位から数時間に短縮され、システムの導入が著しく加速した。
• 本システムの反復的ワークフローにより、ユーザーは拡張されたセットを精査・検証し、最終出力品質の向上を実現した。