[論文レビュー] Feature Construction for Relational Sequence Learning

Nicola Di Mauro, Teresa M. A. Basile+2 more|arXiv (Cornell University)|Jun 27, 2010

Data Mining Algorithms and Applications参考文献 21被引用数 4

ひとこと要約

本稿では、確率的特徴構築とGRASP確率的局所探索を用いたラッパー型特徴選択を組み合わせることで、多クラス関係的シーケンス学習のための新規手法Lynxを提案する。この手法は関係的シーケンスから判別的パターンを構築し、ガイド付き探索によって最適な特徴サブセットを選択し、タンパク質フォールド分類において94.15%の正確度を達成した。これはTildeCRF や Fisherカーネルといった既存手法を上回る結果である。

ABSTRACT

We tackle the problem of multi-class relational sequence learning using relevant patterns discovered from a set of labelled sequences. To deal with this problem, firstly each relational sequence is mapped into a feature vector using the result of a feature construction method. Since, the efficacy of sequence learning algorithms strongly depends on the features used to represent the sequences, the second step is to find an optimal subset of the constructed features leading to high classification accuracy. This feature selection task has been solved adopting a wrapper approach that uses a stochastic local search algorithm embedding a naive Bayes classifier. The performance of the proposed method applied to a real-world dataset shows an improvement when compared to other established methods, such as hidden Markov models, Fisher kernels and conditional random fields for relational sequences.

研究の動機と目的

• 提案手法は、属性化手法が失敗するような複雑で構造的なドメインにおける多クラス関係的シーケンス学習を解決することを目的とする。
• パターンマイニングを用いて関係的シーケンスを情報豊富な特徴ベクトルに変換することで、分類の正確度を向上させることを目的とする。
• 分類器の性能を探索のガイドとして用いるラッパー型アプローチにより、特徴サブセットを最適化することを目的とする。
• 確率的特徴構築と確率的局所探索の組み合わせが、現実の関係的シーケンスデータにおいて優れた結果をもたらすことを実証することを目的とする。

提案手法

• 特徴構築は、関係的シーケンス内の頻出パターンおよび出現パターンから、ブール値および確率的特徴を生成する。
• 各シーケンスは、パターンのサポート値および信頼度値を用いて特徴ベクトルにマッピングされ、確率的表現が可能になる。
• ラッパー型特徴選択フレームワークは、予測正確度に基づいてサブセットの品質を評価するため、Naïve Bayes分類器を統合する。
• グリーディランダム化適応探索手順（GRASP）による確率的局所探索により、特徴サブセット空間を効率的に探索する。
• 検証セット上の誤差最小化が探索のガイドとして機能し、局所的な移動（特徴の追加／削除）を繰り返し実行することで、サブセットを段階的に改善する。
• パターン選択を制御するため、信頼度の閾値（0.95 および 1.0）が用いられ、1.0は特に判別力の高い「ジャンプする出現パターン」を優先する。

実験結果

リサーチクエスチョン

• RQ1 関係的シーケンスからの確率的特徴構築は、多クラス設定における分類正確度の向上に寄与するか？
• RQ2 確率的局所探索を用いたラッパー型特徴選択は、網羅的またはフィルタ型手法に比べ、関係的シーケンス学習において優れた性能を示すか？
• RQ3 GRASPに基づく探索における内部評価器としてのNaïve Bayesの統合は、特徴サブセット最適化にどの程度有効か？
• RQ4 高信頼度（信頼度=1.0）のパターンは、低信頼度のパターンに比べ、どの程度判別力が向上するか？
• RQ5 Lynxは、LoHHMs や Fisherカーネル、TildeCRF といった既存手法に比べ、現実の関係的シーケンスデータでどの程度優れた性能を示すか？

主な発見

• Lynxはタンパク質フォールド分類データセットで10折り交差検証の正確度が94.15%に達し、TildeCRF（92.96%）およびFisherカーネル（84%）を上回った。
• 信頼度を0.95に設定した場合、GRASPに基づく特徴選択の導入により正確度が82.6%から87.8%に向上した。これは最適化の有効性を示している。
• 信頼度=1.0でパターンマイニングを実施した場合、信頼度=0.95よりも高い正確度が得られた。これは「ジャンプする出現パターン」が特に判別力に優れていることを確認した。
• 特徴選択なしのベースライン性能（信頼度=0.95で82.6%）は、GRASPを用いた場合に比べて顕著に低く、サブセット最適化の必要性を裏付けた。
• LoHHMs（75%）およびFisherカーネル（84%）を上回ったことから、最先端の統計的関係的学習システムに対しても強力な競争力を持つことが示された。
• 特徴選択による性能向上は複数のfoldにわたり一貫しており、妥当性と一般化能力の高さが裏付けられた。