[論文レビュー] Summary Statistics for Partitionings and Feature Allocations

Işık Barış Fidaner, Ali Taylan Cemgil|arXiv (Cornell University)|Oct 1, 2013

Bayesian Methods and Mixture Models参考文献 18被引用数 3

ひとこと要約

本稿では、無限混合モデルからのパーティショニングおよび特徴割り当てのサンプル集合を要約・可視化するための新規手法であるエントロピー凝集（EA）を提案する。要素ベースのエントロピーを定義し、累積統計を用いることで、クラスタ構造、セグメンテーションパターン、事後サンプルにおける不確実性を明らかにする解釈可能なデンドログラムを生成する。合成データ、遺伝子発現データ、国際機関（IGO）データに対して優れた性能を示している。

ABSTRACT

Infinite mixture models are commonly used for clustering. One can sample from the posterior of mixture assignments by Monte Carlo methods or find its maximum a posteriori solution by optimization. However, in some problems the posterior is diffuse and it is hard to interpret the sampled partitionings. In this paper, we introduce novel statistics based on block sizes for representing sample sets of partitionings and feature allocations. We develop an element-based definition of entropy to quantify segmentation among their elements. Then we propose a simple algorithm called entropy agglomeration (EA) to summarize and visualize this information. Experiments on various infinite mixture posteriors as well as a feature allocation dataset demonstrate that the proposed statistics are useful in practice.

研究の動機と目的

• 無限混合モデルにおけるパーティショニングおよび特徴割り当ての事後分布が広がっている状況において、それを要約する課題に取り組む。
• 累積統計と出現度行列を用いて、パーティショニングおよび特徴割り当てのサンプル集合を体系的に表現する手法を開発する。
• セグメンテーションおよびクラスタ構造における不確実性を定量化するため、各要素ごとの情報量およびエントロピー列を定義する。
• サンプル集合の主要な構造的パターンを可視化するシンプルで効果的なアルゴリズムであるエントロピー凝集（EA）を構築する。
• 提案された統計量が、遺伝子発現データや国際機関（IGO）会員資格を含む、多様な実データおよび合成データに対して実用的であることを示す。

提案手法

• パーティショニングおよび特徴割り当てにおける要素間のセグメンテーションを定量化するため、要素ベースの情報に基づくエントロピーの新定義を提案する。
• パーティショニングおよび特徴割り当てのサンプル集合を体系的に表現するため、累積統計および累積出現度分布行列を導入する。
• サンプル集合の構造を最もよく反映するエントロピー列の少数を選び、可視化するエントロピー凝集（EA）アルゴリズムを開発する。
• EAデンドログラムの順序で並べたペアワイズ出現確率を用いて、共起パターンおよびクラスタ階層を可視化する。
• 無限混合モデルからの事後サンプルおよび、IGO会員資格のような直接的な特徴割り当てデータセットの両方へこの手法を適用する。
• エントロピー列に従って誘導される階層的凝集プロセスを用いて、データの潜在的構造を反映するデンドログラムを構築する。

実験結果

リサーチクエスチョン

• RQ1 事後分布が広がっている場合に、パーティショニングおよび特徴割り当てのサンプル集合を効果的に要約・可視化する方法は何か？
• RQ2 パーティショニングおよび特徴割り当てに対して、要素ごとの情報量とセグメンテーションを捉える意味のあるエントロピーの定義は何か？
• RQ3 累積統計とエントロピー列を用いて、サンプル集合内のクラスタ構造を階層的表現として構築できるか？
• RQ4 エントロピー凝集（EA）アルゴリズムは、多様なデータセットにおいて真の潜在的構造をどれほど効果的に明らかにできるか？
• RQ5 提案された手法は、国際機関（IGO）会員資格のような現実世界の特徴割り当てデータに直接適用可能か？

主な発見

• エントロピー凝集（EA）アルゴリズムは、明確に分離された3つのクラスタを持つ合成データにおいて、分散の度合いに応じて内部要素と外部要素を区別しながら、真のクラスタ構造を的確に抽出した。
• アヤメのデータセット（Iris）では、各種の50サンプルすべてが単一のリーフに正しくグループ化され、事後分布における分離性の高さと低さの不確実性を反映していた。
• ガラクトース遺伝子発現データセットでは、EAは70個のリボソームタンパク質（RP）遺伝子と12個のヘキソーストランスポーター（HX）遺伝子を個別にリーフとして特定し、外側に19個の遺伝子、内側に68個の遺伝子からなる階層的構造を明らかにした。
• IGOデータセットでは、特徴割り当て（IGO-年会員資格）に直接EAを適用したところ、意味のある大陸順序（ヨーロッパ、アメリカ・オーストラリア・NZ、アジア、アフリカ、中東）が回復され、非事後データに対しても有効であることが示された。
• 順序付けられたペアワイズ出現度行列と組み合わせたEAデンドログラムは、共起パターンと構造的不確実性を効果的に可視化しており、グレーアウトの度合いがクラスタの凝集度を示している。
• この手法は実装が簡単で、深い事前知識を必要としないが、多様な分野における複雑な事後サンプル集合に対して意味のある、解釈可能な要約を提供する。