[論文レビュー] Familia: An Open-Source Toolkit for Industrial Topic Modeling

Di Jiang, Zeyu Chen+3 more|arXiv (Cornell University)|Jul 31, 2017

Topic Modeling参考文献 6被引用数 3

ひとこと要約

Familia は、大規模コーパス上で事前に学習された LDA、SentenceLDA、TWE モデルを備えた、産業用途に適したトピックモデリングユーティリティを提供するオープンソースのツールキットである。文書分類、クラスタリング、パーソナライズドレコメンデーションなどのタスクにおいて、トピックモデリングの実用的応用を可能にし、機械学習パイプラインにトピック特徴を統合した際の実証的結果から、性能向上が顕著に得られている。

ABSTRACT

Familia is an open-source toolkit for pragmatic topic modeling in industry. Familia abstracts the utilities of topic modeling in industry as two paradigms: semantic representation and semantic matching. Efficient implementations of the two paradigms are made publicly available for the first time. Furthermore, we provide off-the-shelf topic models trained on large-scale industrial corpora, including Latent Dirichlet Allocation (LDA), SentenceLDA and Topical Word Embedding (TWE). We further describe typical applications which are successfully powered by topic modeling, in order to ease the confusions and difficulties of software engineers during topic model selection and utilization.

研究の動機と目的

• 学術的なトピックモデリング研究と産業応用の間のギャップを埋めるために、実用的でデプロイ可能なツールを提供すること。
• 産業で一般的に使われる非 LDA トピックモデルのオープンソース実装の不足に対処すること。
• 実際の産業界の事例研究を通じて、ソフトウェアエンジニアがトピックモデルを効果的に選択・適用できるようにガイドすること。
• 意味的表現および意味的マッチングパラダイムの効率的で生産環境対応の実装を提供すること。

提案手法

• Familia は、2 つのコアユーティリティパラダイムを実装している：MCMC を用いた推論（ギブスサンプリングおよびメトロポリス・ハスティングス法）による意味的表現、およびテキストペア間の類似度計算による意味的マッチング。
• 大規模な産業用コーパス上で事前に学習済みの LDA、SentenceLDA、TWE のオフザシェルトピックモデルを提供し、即時デプロイが可能である。
• 意味的表現の分野では、GDBT や K-means クラスタリングなどの下流モデルにおける特徴として、トピック分布が使用される。
• 意味的マッチングの分野では、トピック分布に基づくヘリンジャー距離およびジンセン・シャノン発散を用いて、ショート・ロングおよびロング・ロングテキスト類似度をサポートする。
• TWE は、LDA トピックを単語埋め込みの学習に統合することで、低頻度語の意味的表現を向上させる。
• モデルの解釈性を支援するため、トピック-語の照会、最近接語の検索、モデルの点検を可能にする補助関数を備えている。

実験結果

リサーチクエスチョン

• RQ1 トピックモデリングは、学術的ベンチマークを越えて、実際の産業システムにおいてどのように効果的に応用できるか？
• RQ2 LDA、SentenceLDA、TWE のうち、どのトピックモデルが異なる種類の産業 NLP タスクにおいて最も効果的か？
• RQ3 トピックベースの特徴は、文書分類およびクラスタリングの性能をどのように向上させるか？
• RQ4 レコメンデーションシステムにおいて、文書のトピック分布を比較する際の最も効果的な類似度尺度（例：HD、JSD）は何か？
• RQ5 トピックモデリングは、レコメンデーション向けに既存の機械学習フレームワーク（例：SVDFeature）にどのように統合できるか？

主な発見

• LDA から得られるトピック分布を拡張特徴として統合することで、ベースライン特徴のみを使用した場合に比べ、GBDT を用いたニュース分類の性能が向上した。
• トピックモデリングにより、効果的な文書クラスタリングが実現され、K-means が LDA トピック分布を用いて 1,000 件のニュース記事を 10 個の意味のあるクラスタに分類した。
• TWE を用いたキーワード抽出は、ストップワードを除外しながらも重要な意味的コンテンツを保持する点で、ベースライン手法を上回った。
• ユーザーの閲覧履歴から導出されたプロファイルと記事のトピック分布との間のヘリンジャー距離を用いたパーソナライズドニュースレコメンデーションにより、フィードの関連性が顕著に向上した。
• SVDFeature フレームワークに JSD を用いたトピック類似度特徴を拡張することで、パーソナライズド小説レコメンデーションにおいて、精度（Precision）および NDCG の両方で一貫した改善が得られた。