[論文レビュー] The Multivariate Watson Distribution: Maximum-Likelihood Estimation and other Aspects

Suvrit Sra, Dmitrii Karp|arXiv (Cornell University)|Apr 22, 2011

Bayesian Methods and Mixture Models参考文献 18被引用数 5

ひとこと要約

本稿では、多次元設定における長年の数値的課題に対処するために、多変量ワトソン分布における最尤推定の理論的裏付けと数値的精度に優れた近似を提示している。特に関連する合流超幾何関数 M(a, c, κ) の性質を用いて集中パラメータ κ に対するきめ細やかな両側バインディングを導出し、効率的かつ正確なパラメータ推定を可能にした。著者らはこの手法を混合モデルに適用し、直径クラスタリングとの新たな関連を明らかにした。その結果、合成データおよび実際の遺伝子発現データにおいてクラスタリング性能が向上した。

ABSTRACT

This paper studies fundamental aspects of modelling data using multivariate Watson distributions. Although these distributions are natural for modelling axially symmetric data (i.e., unit vectors where $\pm \x$ are equivalent), for high-dimensions using them can be difficult. Why so? Largely because for Watson distributions even basic tasks such as maximum-likelihood are numerically challenging. To tackle the numerical difficulties some approximations have been derived---but these are either grossly inaccurate in high-dimensions (\emph{Directional Statistics}, Mardia & Jupp. 2000) or when reasonably accurate (\emph{J. Machine Learning Research, W. & C.P., v2}, Bijral \emph{et al.}, 2007, pp. 35--42), they lack theoretical justification. We derive new approximations to the maximum-likelihood estimates; our approximations are theoretically well-defined, numerically accurate, and easy to compute. We build on our parameter estimation and discuss mixture-modelling with Watson distributions; here we uncover a hitherto unknown connection to the "diametrical clustering" algorithm of Dhillon \emph{et al.} (\emph{Bioinformatics}, 19(13), 2003, pp. 1612--1619).

研究の動機と目的

• 高次元における多変量ワトソン分布の既存の最尤推定法の数値的不安定性と不正確さを解消すること。
• 正確で理論的裏付けのあるきめ細やかな両側バインディングを集中パラメータ κ に対して導出し、正確かつ効率的なパラメータ推定を可能にすること。
• ワトソン分布を用いた混合モデルと遺伝子発現解析で用いられる直径クラスタリングアルゴリズムとの正式な関連を確立すること。
• 実験を通じて、ワトソン混合モデルによる集中の明示的モデリングが、標準的な直径クラスタリングに比べてクラスタリング性能を向上させることを示すこと。

提案手法

• 合流超幾何関数 M(a, c, κ) の性質を用いて、ワトソン分布の集中パラメータ κ の最尤方程式に対する漸近的に正確な両側バインディングを導出する。
• これらのバインディングを基に、数値的に安定で計算効率の良い新しい理論的裏付けのある κ の近似を構築する。
• 推定されたパラメータを用いて、EMに類似したアルゴリズムを用いたワトソン分布の混合モデルを構築し、クラスタリングに応用する。
• ワトソン混合モデルのEM手順の極限ケースが直径クラスタリングアルゴリズムに一致することを明らかにし、生成的解釈を与える。
• 合成データおよび実際の遺伝子発現データセットにおける性能評価に、内部クラスタリング評価指標（均一性 Havg および分離度 Savg）を用いる。
• κ2 の値を変化させた合成データ上でクラスタ分離度をテストし、複数の K 値を用いて3つの実際のマイクロアレイデータセット（ヒト線維症細胞、Yest細胞周期、ロゼッタイースト）を用いた実験を実施する。

実験結果

リサーチクエスチョン

• RQ1 多変量ワトソン分布における集中パラメータ κ に対して、きめ細やかな両側バインディングを導出可能か。これにより高次元での最尤推定の数値的安定性が向上するか。
• RQ2 提案手法による κ の近似は、高次元設定において既存の便宜的アプローチに比べて精度と効率の点で優れているか。
• RQ3 ワトソン分布を用いた混合モデルと直径クラスタリングアルゴリズムとの間には、理論的な関連があるか。
• RQ4 ワトソン混合モデルによる集中の明示的モデリングは、単独の直径クラスタリングに比べてクラスタリング性能を向上させるか。

主な発見

• 提案された κ に対する両側バインディングは、非常に高い精度と計算効率を実現し、高次元設定において既存の便宜的手法を上回った。
• 合成データでは、κ2 が高くなるほどクラスタリング精度が向上し、集中の良好なモデリングが明確なクラスタ分離を可能にしていることが示された。
• 実際の遺伝子発現データセットでは、moW（ワトソン混合モデル）は直径クラスタリングと同等またはそれ以上の均一性（Havg）を達成し、一貫して低い分離度（Savg）スコアを示した。これは、より明確なクラスタ境界を示している。
• 表3では、6つのケースのうち5つで moW がより低い Savg 値を達成しており、直径クラスタリングが均一性最適化のために設計されているにもかかわらず、より明確なクラスタ境界を形成していることが示された。
• ワトソン混合モデルのEM手順と直径クラスタリングとの理論的関連が裏付けられた：EM手順の極限ケースは、直径クラスタリングに正確に一致し、生成的解釈が得られた。
• 本手法により、高次元における軸対称データのロバストなクラスタリングが可能となり、従来のヒューリスティック手法に実用的な改善をもたらした。