[論文レビュー] Robust Learning with Kernel Mean p-Power Error Loss

Badong Chen, Lei Xing+3 more|arXiv (Cornell University)|Dec 21, 2016

Machine Learning and ELM参考文献 24被引用数 9

ひとこと要約

本稿では、任意のp乗誤差損失を許容することでコルレントロピーを一般化する、カーネル空間における非2次モーメント統計的測度であるカーネル平均p乗誤差（KMPE）を導入する。極端な学習機械および主成分分析にKMPEを損失関数として適用することで、著者らはELM-KMPEおよびPCA-KMPEを構築し、合成データおよびベンチマークデータ上で、非ガウス分布ノイズおよび外れ値が存在する状況でも優れたロバスト性と性能を達成した。

ABSTRACT

Correntropy is a second order statistical measure in kernel space, which has been successfully applied in robust learning and signal processing. In this paper, we define a nonsecond order statistical measure in kernel space, called the kernel mean-p power error (KMPE), including the correntropic loss (CLoss) as a special case. Some basic properties of KMPE are presented. In particular, we apply the KMPE to extreme learning machine (ELM) and principal component analysis (PCA), and develop two robust learning algorithms, namely ELM-KMPE and PCA-KMPE. Experimental results on synthetic and benchmark data show that the developed algorithms can achieve consistently better performance when compared with some existing methods.

研究の動機と目的

• 機械学習における非ガウス分布ノイズおよび外れ値の処理に際し、MSE やコルレントロピーといった2次損失関数の限界を是正すること。
• 任意のp値を許容するカーネル空間における一般化された非2次モーメント統計的測度、すなわちカーネル平均p乗誤差（KMPE）を提案すること。
• 極端な学習機械および主成分分析にKMPEを損失関数として統合することで、ロバストな学習アルゴリズムであるELM-KMPEおよびPCA-KMPEを開発すること。
• 回帰、分類、クラスタリング、顔再構築タスクにおいて、従来のロバスト手法と比較してKMPEに基づくアルゴリズムの優位性を実験的に検証すること。

提案手法

• KMPEをカーネル空間における誤差のp次モーメントとして定義し、p=2のときコルレントロピー損失（C-Loss）に一般化されることを示す。
• メルツァー核関数を用いてデータを再生核ヒルベルト空間（RKHS）にマップすることで、局所的類似性に基づく学習を可能にする。
• 反復的重み付き最小二乗法または勾配ベース手法を用いて、KMPE損失を最小化する最適化手順を導出する。
• 両方のELMおよびPCAフレームワークにおいて非線形特徴抽出を可能にしつつ、計算効率を維持するため、カーネルトリックを適用する。
• ガウスカーネルを用いてRKHSを誘導し、バンド幅の選択によって近傍感度を制御する。
• 従来の損失関数（例：MSE や分散最大化）をカーネル空間におけるp乗誤差に置き換えることで、KMPEをELMおよびPCAに統合する。

実験結果

リサーチクエスチョン

• RQ1 カーネル空間における一般化された非2次損失関数（KMPE）は、標準的なコルレントロピーまたはMSEと比較して、外れ値および非ガウス分布ノイズに対してより高いロバスト性を示すか？
• RQ2 KMPE損失におけるpの選択が、ノイズおよび汚染度の変動する状況下におけるELMおよびPCAの性能に与える影響は何か？
• RQ3 提案されたKMPEベースの学習フレームワークは、外れ値を含む実世界データにおいて、L1-PCA、R1-PCA、HQ-PCA、PCA-GMといった既存のロバスト手法を上回る性能を示すか？
• RQ4 KMPEは、MNIST や Yale Face のような高次元でノイズの多いデータセットにおけるクラスタリングおよび分類精度をどの程度向上させるか？

主な発見

• MNISTの手書き数字データにおいて、ELM-KMPEは標準的なELMおよび他のロバストな変種と比較して、特にノイズ環境下でも高い分類精度を達成した。
• MNISTおよびYale Faceデータベースにおいて、PCA-KMPEは5つのベンチマークPCA手法（R1-PCA、L1-PCA、HQ-PCA、PCA-GMを含む）を上回るクラスタリング精度および正規化相互情報量（NMI）を達成した。
• MNISTデータセットにおいて、50次元部分空間でPCA-KMPEは71.83%のクラスタリング精度を達成し、2番目に優れた手法（69.63%）を上回り、全テスト次元で一貫した向上を示した。
• 150枚のダミー画像を含むYale Faceデータセットにおいて、60次元でPCA-KMPEは51.33%のクラスタリング精度を達成し、次に優れた手法（49.80%）を顕著に上回り、60次元で高いNMI（0.5809）を維持した。
• 提案されたKMPEベースのアルゴリズムは、複数のデータセットおよびノイズレベルにおいて一貫したロバスト性を示し、ベースライン手法と比較して性能指標の分散が小さかった。
• PCAにおける最適なp値は10、PCA-GMにおける最適なp値は0.3であった。これは、非2次元p値がカーネル空間におけるロバスト性を向上させることを示唆している。