[論文レビュー] Graph-Sparse LDA: A Topic Model with Structured Sparsity

Finale Doshi‐Velez, Byron Wallace+1 more|arXiv (Cornell University)|Oct 16, 2014

Topic Modeling参考文献 17被引用数 4

ひとこと要約

Graph-Sparse LDA は、医療用オントロジーや遺伝子パスウェイなどの構造的語彙を活用して、有向無閉路グラフ（DAG）内の概念語の分布としてトピックをモデル化することにより、スパースで解釈可能なトピックを生成するベイジアン非パラメトリックトピックモデルである。グラフ構造的関係を用いてスパarsityを誘導することで、標準的なスパーストピックモデルよりも顕著に解釈性が向上した一方で、最先端の予測性能を達成している。

ABSTRACT

Originally designed to model text, topic modeling has become a powerful tool for uncovering latent structure in domains including medicine, finance, and vision. The goals for the model vary depending on the application: in some cases, the discovered topics may be used for prediction or some other downstream task. In other cases, the content of the topic itself may be of intrinsic scientific interest. Unfortunately, even using modern sparse techniques, the discovered topics are often difficult to interpret due to the high dimensionality of the underlying space. To improve topic interpretability, we introduce Graph-Sparse LDA, a hierarchical topic model that leverages knowledge of relationships between words (e.g., as encoded by an ontology). In our model, topics are summarized by a few latent concept-words from the underlying graph that explain the observed words. Graph-Sparse LDA recovers sparse, interpretable summaries on two real-world biomedical datasets while matching state-of-the-art prediction performance.

研究の動機と目的

• 高次元トピックモデルにおける解釈性の低さという課題に、特に構造的語彙を有する科学的分野において対処すること。
• ICD9-CM や MeSH や遺伝子パスウェイなどの既存の制御語彙を事前知識として活用し、トピック発見を支援すること。
• ドメインエキスパートにとって意味のある、スパースで概念ベースのトピック要約を生成するトピックモデルを開発すること。
• 解釈性を向上させつつ、最先端のスパーストピックモデルと同等またはそれを上回る予測性能を維持すること。
• グラフ構造を活用してスパースで尤度の高い解を効率的に特定できる、効率的な推論手順を設計すること。

提案手法

• トピックが原始語の上ではなく、DAG 構造語彙内の概念語の上での分布として定義される階層的トピックモデルを導入する。
• グラフ構造にインスパイアされたノイズプロセスを用いて、概念語から観測語を生成し、1つの概念がその先祖および子孫を説明できるようにする。
• 一定の尤度の多様体に沿った移動を好む、スパース解を効率的に探索する新しいギブスサンプリング推論手順を採用する。
• 自動的にトピック数を発見できるベイジアン非パラメトリック事前分布（例：中国レストラン過程）を用いる。
• スパース性誘導行列 P を用いてグラフ構造を統合し、どの観測語がどの概念語から生成可能かを定義する。
• グラフを用いてトピック分布のサポートを制約し、意味的な関係を持つ概念語のみがトピックに寄与することを保証する。

実験結果

リサーチクエスチョン

• RQ1 医療オントロジーなどの構造的語彙を用いることで、予測性能を損なうことなくトピックモデルの解釈性を向上させることができるか？
• RQ2 語の間のグラフ構造的関係をどのように活用して、データの説明能力を保ちながらトピックモデルにおけるスパース性を誘導できるか？
• RQ3 DAG を介してドメイン固有の知識を統合することで、標準的なスパーストピックモデルと比較して、発見されたトピックの臨床的・科学的意味性が向上するか？
• RQ4 観測データとグラフ構造のみを用いて、トピック数とそのスパースで概念ベースの表現を効率的に発見できるか？
• RQ5 提案された推論手順は、標準的なギブスサンプリングに比べて、スパースで解釈可能な解をより効果的に発見できるか？

主な発見

• Graph-Sparse LDA は、2つの実世界のバイオメディカルデータセット（自閉症患者の診断と MeSH アノテーション済みの文献要約）において、最先端またはそれ以上の予測性能を達成した。
• Latent IBP Compound Dirichlet Allocation と比較して、データの説明能力を維持または向上させながら、はるかにスパースなトピック記述（少数のキーコンセプト語のみを用いて）を生成した。
• 自閉症データセットでは、Graph-Sparse LDA が「てんかん」などの高レベルの診断的概念のみを用いて、臨床的に関連するサブタイプを回復した（例：特定のてんかんタイプを要約）。
• MeSH アノテーション済みの要約では、既知のバイオメディカルトピックと整合する、簡潔で意味のある MeSH 語のグループ化を同定した。
• 推論手順は、一定の尤度の多様体に沿った移動を好むことで、スパース解を効率的に特定し、計算コストを低減した。
• 専門家が整備したオントロジーを事前知識として使用できる能力により、ドメインエキスパートにとって解釈可能で科学的に意味のあるトピック要約が可能になった。