[論文レビュー] Bibliographic Analysis with the Citation Network Topic Model

Kar Wai Lim, Wray Buntine|arXiv (Cornell University)|Sep 22, 2016

Topic Modeling参考文献 27被引用数 32

ひとこと要約

本稿では、階層的ピタマン＝ヨア過程とポアソン混合トピックリンクモデリングを用いて、ドキュメントの内容、著者ごとのトピック嗜好、および引用ネットワークを統合的にモデル化する非パrametricベイズモデル、引用ネットワークトピックモデル（CNTM）を提案する。このモデルは、ベースラインと比較してモデルフィッティングおよびドキュメントクラスタリングの両面で性能向上を達成しており、トピックの理解性が向上し、出版分野に基づくマージによる有効な半教師付き著者グループ化が可能である。

ABSTRACT

Bibliographic analysis considers author's research areas, the citation network and paper content among other things. In this paper, we combine these three in a topic model that produces a bibliographic model of authors, topics and documents using a non-parametric extension of a combination of the Poisson mixed-topic link model and the author-topic model. We propose a novel and efficient inference algorithm for the model to explore subsets of research publications from CiteSeerX. Our model demonstrates improved performance in both model fitting and a clustering task compared to several baselines.

研究の動機と目的

• 学術出版におけるドキュメントの内容、著者ごとのトピック嗜好、引用ネットワークを統合的に捉える統一モデルの開発。
• テキスト、著者関係、引用リンクという相互に依存する構造を有する複雑な文献データをモデル化する課題への対処。
• 引用情報と著者情報を取り入れることで、モデルフィッティングおよびドキュメントクラスタリングの両タスクにおけるトピックモデルの性能向上。
• 出版分野ラベルに基づくグループ化による低活動著者のマージを用いて、半教師付き学習を可能にする。
• 定性的分析に適した解釈可能で理解度の高いトピックおよび著者-トピック嗜好の提供。

提案手法

• CNTMは、トピックモデリングに階層的ピタマン＝ヨア過程（PYP）を、引用ネットワークモデリングにポアソン混合トピックリンクモデル（PMTLM）を組み合わせる。
• 共役事前分布と周辺化技術を用いて確率的ベクトルを統合的に取り除き、離散ギブスサンプリングを用いた効率的なMCMC推論を実現する。
• ピタマン＝ヨア過程による非パラメトリック事前分布を採用することで、事前にトピック数を指定せずに柔軟かつデータ駆動型のトピック発見が可能になる。
• 各著者のトピック嗜好がその著者のドキュメントのトピックに影響を与えるようにモデル化し、著者の寄与を反映する。
• 引用ネットワーク構造を効果的に扱えるように、畳み込みギブスサンプリングのシンプルさと効率性を保ちつつ、計算効率の高い新しい推論アルゴリズムを導出する。
• 発表数がη未満の著者は、出版分野ラベルに基づいてグループにマージされ、半教師付き学習が可能になる。

実験結果

リサーチクエスチョン

• RQ1 統一されたトピックモデルは、従来のモデルと比較して、ドキュメントの内容、著者-トピック嗜好、引用ネットワークをより効果的に統合的にモデル化できるか？
• RQ2 引用ネットワークを統合することで、モデルフィッティングおよびクラスタリング精度という観点から、トピックモデルの性能がどのように向上するか？
• RQ3 分野ベースのマージによる半教師付き著者グループ化は、クラスタリング性能をどの程度向上させるか？
• RQ4 本モデルが学習したトピックおよび著者-トピック分布は、実際の文献的文脈において解釈可能で意味のあるものであるか？
• RQ5 提案された推論アルゴリズムは、複雑な文献的構造の非パラメトリックモデリングを可能にしつつ、計算効率を維持できるか？

主な発見

• CNTMは、3つのCiteSeer Xデータセットおよび3つのベンチマークデータセットにおいて、ベースラインモデルと比較してモデルフィッティングおよびクラスタリング性能が向上している。
• 著者マージの閾値ηを大きくするほどクラスタリング性能が向上し、η = 4または5で最良の効果が得られるが、さらに値を上げると著者固有情報の損失により性能が低下する。
• トピックは高い理解性を示しており、『強化学習』『オブジェクト認識』『サポートベクターマシン』といったトップワードリストによって裏付けられている。
• 著者-トピック分布は意味のある研究関心を示しており、Y. Bengioはニューラルネットワーク、D. Aertsは量子理論に注力していることが確認され、モデルの解釈可能性が裏付けられた。
• 推論アルゴリズムは、確率的ベクトルを統合することで、畳み込みギブスサンプリングのシンプルさと効率性を維持しながら、効率的なMCMCサンプリングを可能にした。
• PMTLM や ATM といった先行手法と比較して、CNTM は非パラメトリック枠組み内でテキスト、著者、引用を統合的にモデリングすることで優れた性能を発揮した。