[論文レビュー] Classification Based on Permanental Process with Cyclic Approximations

Jie Yang, Klaus J. Miescke+1 more|arXiv (Cornell University)|Aug 24, 2011

Bayesian Methods and Mixture Models参考文献 13被引用数 1

ひとこと要約

本論文は、観測値の交換可能性を仮定するが独立性を仮定しない、恒久的過程に基づく教師あり分類モデルを提案する。これにより、クラスタごとに2–3パラメータで効率的な共分散モデル化が可能になる。3次までの循環的近似を用いることで、多項式時間（最大3次まで）で重み付き恒久的比を計算可能となり、非凸、非交差、または重複するクラス領域に対しても効果的に対処でき、高次元のDNAマイクロアレイデータにおける予測誤差を顕著に低減する。

ABSTRACT

In this paper we introduce a statistical model based on a permanental process for supervised classification problems. Unlike many research work in the litera ture, we assume only exchangeability instead of independence on observations. Regardless of the number of classes or the dimension of the feature variables, the model may require only 2-3 parameters for fitting the covariance structure within clusters. It works well even if each class occupies non-convex, disjoint regions, or regions overlapped with other classes in the feature space. To calculate the weighted permanental ratio involved, we propose analytic approximations based on its cyclic expansion, which require only polynomial time up to order three. It works well for classific ation purpose. An application to DNA microarray analysis indicates that the permanental model with cyclic approximations is more capable of handling high-dimensional data. It can employ more feature variables in an efficient way and reduce the prediction error significantly. This is criti cal when the true classification relies on non-reducible high-dimensional features.

研究の動機と目的

• 観測値の独立性を仮定せず、代わりに交換可能性を仮定する統計的分類モデルの開発。
• 特徴空間において非凸、非交差、または重複する領域を占めるクラスに対しても効果的な分類を可能にする。
• 特に高次元設定において、クラスタ内共分散をモデル化するためのパラメータ数を削減すること。
• 通常高次元では扱いにくい重み付き恒久的比の計算を、計算的に効率的な方法で行う。
• 非削減可能な高次元特徴を活用することで、DNAマイクロアレイ解析のような高次元生物学的データにおける予測精度の向上。

提案手法

• モデルは恒久的過程を用いて特徴ベクトル上の点過程分布を定義し、交換可能性の仮定に基づく共分散行列によって依存構造を捉える。
• 計算不能な行列式に基づく正規化を扱えるようにするため、恒久的比の循環的展開を導入する。
• 循環的近似は3次までで打ち切られ、計算量が多項式時間（O(n³)）に保証され、高次元データへのスケーラビリティを実現する。
• 尤度成分として重み付き恒久的比を採用し、モデルフィッティング時に観測値をクラスに割り当てるための最適化が行われる。
• 循環的近似を用いた最尤推定により、複雑な共分散構造を持つ場合でも効率的なパrameterフィッティングが可能になる。
• このフレームワークはDNAマイクロアレイデータに適用され、従来手法よりも高次元特徴をより効果的に統合する。

実験結果

リサーチクエスチョン

• RQ1 観測値が独立ではなく交換可能である場合、恒久的過程に基づく分類モデルは従来のモデルを上回る性能を示せるか？
• RQ2 高次元特徴空間において、計算不能な恒久的比をどのように効率的に近似できるか？
• RQ3 3次までの循環的近似は、計算複雑性を低減しつつも、十分な精度を維持できるか？
• RQ4 特徴空間において非凸または重複するクラス領域を持つデータに対しても、このモデルは効果的に分類できるか？
• RQ5 既存の手法と比較して、恒久的モデルはDNAマイクロアレイのような高次元生物学的データにおける予測誤差を低減できるか？

主な発見

• 循環的近似を用いた恒久的モデルは、ベースライン手法と比較してDNAマイクロアレイ分類において顕著に低い予測誤差を達成した。
• 非凸的で重複する領域を占める複雑なクラス構造に対しても、モデルは効果的に対処できた。
• クラス数や特徴次元数に関係なく、クラスタ内共分散をモデル化するのに2–3パラメータで十分である。
• 3次までの循環的近似により、多項式時間（O(n³)）での計算が可能となり、高次元データへのスケーラビリティが確保された。
• 非削減可能な高次元パターンに依存する真の分類において、高次元特徴をより効率的に活用できた。
• 実世界の生物学的データにおいて優れた性能を示し、ゲノム学や類似分野における実用的有用性を示した。