[論文レビュー] A Bayesian Approach to the Data Description Problem

Alireza Ghasemi, Hamid R. Rabiee+2 more|arXiv (Cornell University)|Feb 24, 2016

Anomaly Detection Techniques and Applications参考文献 27被引用数 8

ひとこと要約

本稿では、カーネル法のスパarsityと確率的手法の事前知識モデリングを統合する、データ記述のための新規ベイジアンフレームワークを提案する。このフレームワークにより、ラベルなしデータを用いた有効なワンクラス学習が可能となり、多様なデータセットで最先端の性能を達成する。本手法は、事前分布とラベルなしサンプルを活用することで境界推定とロバストネスを向上させることで、最先端の性能を実現する。

ABSTRACT

In this paper, we address the problem of data description using a Bayesian framework. The goal of data description is to draw a boundary around objects of a certain class of interest to discriminate that class from the rest of the feature space. Data description is also known as one-class learning and has a wide range of applications. The proposed approach uses a Bayesian framework to precisely compute the class boundary and therefore can utilize domain information in form of prior knowledge in the framework. It can also operate in the kernel space and therefore recognize arbitrary boundary shapes. Moreover, the proposed method can utilize unlabeled data in order to improve accuracy of discrimination. We evaluate our method using various real-world datasets and compare it with other state of the art approaches of data description. Experiments show promising results and improved performance over other data description and one-class learning algorithms.

研究の動機と目的

• スパarsityが欠如している、あるいはドメイン知識を組み込めていない従来のワンクラス学習手法の限界を解消すること。
• データ記述タスクにおいて、整合的な事前知識の使用を可能にする確率的フレームワークの開発。
• ラベルなしの負例を必要とせずに、学習プロセスにラベルなしデータを統合してモデルの精度を向上させること。
• カーネルベースの手法（例：SVDD）とベイジアンアプローチの間のギャップを埋め、計算効率と不確実性を考慮したモデリングを両立させること。
• サポートベクターの事前モデリングを活用して、ノイズに対するロバストネスを向上させるとともに、トレーニングの複雑さを低減すること。

提案手法

• 意思決定関数にガウス過程事前分布を用いて、データ記述をベイジアン推論問題として定式化する。
• 特徴空間におけるデータポイントがターゲットクラスに属する確率をモデル化するために、カーネル化された尤度関数を用いる。
• 特にサポートベクターの位置とスパarsityに注目し、モデルパラメータに情報的な事前分布を定義することで、事前知識を統合する。
• ラベルなしデータを活用するために、ベイジアンモデルの事前平均を更新し、境界推定を改善する。
• 後方分布の近似に変分推論またはラプラス近似を適用する。
• 後方精度に基づき、最も関連性の高いデータポイント（サポートベクター）のみを選択することで、スパarsityを確保し、計算効率を維持する。

実験結果

リサーチクエスチョン

• RQ1 ワンクラス学習において、同時にスパarsityと効果的な事前知識の使用を達成できるベイジアンフレームワークを設計できるか？
• RQ2 ラベルなしデータを、ワンクラスデータ記述モデルに体系的に統合することで、一般化性能を向上させられるか？
• RQ3 事前知識を組み込むことで、トレーニング時間はどの程度短縮され、ノイズに対するロバストネスはどのように向上するか？
• RQ4 SVDD や OCGP といった最先端のワンクラス学習アルゴリズムと比較して、本手法の性能と効率はどの程度か？
• RQ5 ラベル付きデータが乏しい小規模または複雑なデータセットにおいて、ベイジアンアプローチは高い精度を維持できるか？

主な発見

• 提案された半教師付きベイジアンデータ記述（SSDD）手法は、すべてのテストデータセットでSVDD、OCGP、およびマッピング収束法を上回り、MNIST や Caltech-101 といった困難なデータセットでは平均で最大10%の精度向上を達成した。
• ISOLET データセットでは、SSDDは98.23%の精度（標準偏差0.38）を達成し、SVDD（92.28%）およびマッピング収束法（94.87%）を大きく上回った。
• COIL20 データセットでは、SSDDは66.53%の精度を達成し、SVDD（54.63%）に対して17%、マッピング収束法（59.25%）に対して7%の改善を示し、小規模で複雑なデータセットにおいて顕著な向上を示した。
• Corel データセットでは、SSDDは97.26%の精度を達成し、2.52秒の実行時間で、SVDD（90.21%）およびマッピング収束法（93.69%）を上回りながらも、競争力ある速度を維持した。
• マッピング収束法はワンクラスとバイナリ分類の両方のステップを実行する必要があったのに対し、SSDDはトレーニング時間を短縮した。また、SVDDほど速くなかったが、それほど遅くはなかった。
• ラベルなしデータの使用は、小規模で困難なデータセットにおいて最も顕著な性能向上をもたらし、データが乏しい状況下での価値を裏付けた。