[論文レビュー] Familia: A Configurable Topic Modeling Framework for Industrial Text Engineering

Di Jiang, Yuanfeng Song+5 more|arXiv (Cornell University)|Aug 11, 2018

Topic Modeling参考文献 32被引用数 10

ひとこと要約

Familia は、ベイジアンネットワークの専門知識や手動での推論実装が不要な、設定可能でオープンソースのトピックモデリングフレームワークである。LDA、バイリンガルトピックモデル、センテンスLDA など、幅広いトピックモデルを簡単に探索・デプロイ・カスタマイズできる。ハイブリッドGibbs/メトロポリス・ハスティングスサンプリングメカニズムによりパrameter推論を自動化し、パラメータサーバー アーキテクチャを活用して分散並列推論を実現することで、学術的トピックモデリング研究と産業応用の間のギャップを埋め、テキストエンジニアリングタスクの実用的ツールキットを大幅に拡張する。

ABSTRACT

In the last decade, a variety of topic models have been proposed for text engineering. However, except Probabilistic Latent Semantic Analysis (PLSA) and Latent Dirichlet Allocation (LDA), most of existing topic models are seldom applied or considered in industrial scenarios. This phenomenon is caused by the fact that there are very few convenient tools to support these topic models so far. Intimidated by the demanding expertise and labor of designing and implementing parameter inference algorithms, software engineers are prone to simply resort to PLSA/LDA, without considering whether it is proper for their problem at hand or not. In this paper, we propose a configurable topic modeling framework named Familia, in order to bridge the huge gap between academic research fruits and current industrial practice. Familia supports an important line of topic models that are widely applicable in text engineering scenarios. In order to relieve burdens of software engineers without knowledge of Bayesian networks, Familia is able to conduct automatic parameter inference for a variety of topic models. Simply through changing the data organization of Familia, software engineers are able to easily explore a broad spectrum of existing topic models or even design their own topic models, and find the one that best suits the problem at hand. With its superior extendability, Familia has a novel sampling mechanism that strikes balance between effectiveness and efficiency of parameter inference. Furthermore, Familia is essentially a big topic modeling framework that supports parallel parameter inference and distributed parameter storage. The utilities and necessity of Familia are demonstrated in real-life industrial applications. Familia would significantly enlarge software engineers' arsenal of topic models and pave the way for utilizing highly customized topic models in real-life problems.

研究の動機と目的

• 学術的トピックモデルの豊富さと産業応用におけるそれらの限られた使用の間の継続的ギャップを是正すること。
• 複雑なベイジアン推論やパrameter最適化の抽象化により、トピックモデルの実装とチューニングにかかるエンジニアリング負荷を低減すること。
• 設定可能なデータ構造と自動推論を備えた、包括的かつ拡張可能なフレームワークとして、幅広いトピックモデルをサポートすること。
• ソフトウェアエンジニアが特定の産業的テキストエンジニアリングタスクに適合したカスタムトピックモデルを迅速にプロトタイプ化・評価できるようにすること。
• 次世代トピックモデルの産業的採用を促進するため、次元削減や意味的マッチングなどのモデル後処理ユーティリティを標準搭載すること。

提案手法

• Familia は、生成プロセスを設定可能に定義することで、幅広いトピックモデルをサポートし、ユーザーが訓練データの再組織化のみでモデルを切り替えることができる。
• Gibbsサンプリングとメトロポリス・ハスティングスを組み合わせたハイブリッドサンプリングメカニズムを採用し、アリアステーブルを用いて推論の正確性と計算効率のバランスを最適化している。
• パラメータサーバー アーキテクチャを採用することで、複数ノードに跨る分散並列パrameter推論を実現し、大規模な産業用データセットを処理できる。
• 自動パrameter推論がユーザーから抽象化されており、カスタムMCMCや変分推論アルゴリズムの実装が不要である。
• 組み込みのモデル後処理ユーティリティには、次元削減、意味的マッチング、および順位付けやレコメンデーションなどの下流タスク向けの特徴抽出が含まれる。
• ユーザーは、フレームワークの生成プロセス仕様に準拠する限り、新しいトピックモデルを定義することで Familia を拡張可能である。

実験結果

リサーチクエスチョン

• RQ1 どのような設計により、最小限のエンジニアリング負荷で、既存および新規のトピックモデルを幅広くサポートできるトピックモデリングフレームワークを構築できるか？
• RQ2 どのようなサンプリング戦略が、多様なトピックモデルに跨って推論の正確性と効率性の最適なトレードオフを達成できるか？
• RQ3 自動パrameter推論と分散コンピューティングを統合することで、産業環境におけるトピックモデルのスケーラビリティと使いやすさがどの程度向上できるか？
• RQ4 統一されたフレームワークが、LDA やバイリンガルトピックモデル、ペアモデルといった標準的モデルと特殊なモデルを、実世界の応用で効果的にサポートできるか？
• RQ5 検索順位付けやレコメンデーションなどの下流タスクにトピックモデル特徴を統合することで、従来手法に比べて性能がどの程度向上するか？

主な発見

• Familia は LDA、スパースラベル付きLDA、センテンスLDA、バイリンガルトピックモデル、ペアモデル、GeoFolk、LATM、マルチフェイサードトピックモデルを含む10種類以上の確立済みトピックモデルをサポートしており、すべてデータ再組織化によりアクセス可能である。
• Gibbs とメトロポリス・ハスティングスを組み合わせたハイブリッドサンプリングメカニズムにアリアステーブルを導入することで、多様なモデルにおいて推論の効果性と効率性の優れたバランスが達成された。
• Familia は下流タスクで顕著なパフォーマンス向上を実現した。SVDFeature のグローバル特徴として利用された際、JSDベースのトピック類似度は、パーソナライズド小説推薦において精度とNDCGの両方を向上させた。
• キーワード抽出タスクでは、Familia で駆動される TWE（トピック重み付き埋め込み）が、ニュース記事におけるより意味的に関連性の高い語を保持する点で、TF-IDF ベースラインを上回った。
• 長文の意味的マッチングでは、Familia で計算されたトピック分布を用いて、ヘルンゲル距離とジェンセン・シャノンダイバージェンスを活用した類似度測定が有効に機能し、下流の関連性が向上した。
• オープンソース化後、Familia は分野内で2番目に人気のあるトピックモデリングプロジェクトとなり、強い産業的および学術的採用が確認された。