[論文レビュー] A Cost-Sensitive Deep Belief Network for Imbalanced Classification

Chong Zhang, Kay Chen Tan+2 more|arXiv (Cornell University)|Apr 28, 2018

Imbalanced Data Classification Techniques被引用数 15

ひとこと要約

本稿では、不均衡データにおける誤分類コストを自動的に最適化するため、適応的微分進化（jDE）を用いた進化的コストセンシティブ深層信念ネットワーク（ECS-DBN）を提案する。この手法は、データ分布を変更せずに少数クラスの性能を著しく向上させる。ECS-DBNは、ベンチマークおよび実世界の故障診断データセットにおいて、最先端の手法を上回り、G-meanが高く、計算効率も優れている。

ABSTRACT

Imbalanced data with a skewed class distribution are common in many real-world applications. Deep Belief Network (DBN) is a machine learning technique that is effective in classification tasks. However, conventional DBN does not work well for imbalanced data classification because it assumes equal costs for each class. To deal with this problem, cost-sensitive approaches assign different misclassification costs for different classes without disrupting the true data sample distributions. However, due to lack of prior knowledge, the misclassification costs are usually unknown and hard to choose in practice. Moreover, it has not been well studied as to how cost-sensitive learning could improve DBN performance on imbalanced data problems. This paper proposes an evolutionary cost-sensitive deep belief network (ECS-DBN) for imbalanced classification. ECS-DBN uses adaptive differential evolution to optimize the misclassification costs based on training data, that presents an effective approach to incorporating the evaluation measure (i.e. G-mean) into the objective function. We first optimize the misclassification costs, then apply them to deep belief network. Adaptive differential evolution optimization is implemented as the optimization algorithm that automatically updates its corresponding parameters without the need of prior domain knowledge. The experiments have shown that the proposed approach consistently outperforms the state-of-the-art on both benchmark datasets and real-world dataset for fault diagnosis in tool condition monitoring.

研究の動機と目的

• 従来の深層信念ネットワーク（DBN）が誤分類コストを等しく仮定するため、不均衡データ分類の課題に対処できないこと。
• 特に実世界の応用においてコストが未知である場合に、事前知識が不要な最適誤分類コストの自動決定手法の開発。
• 進化的最適化を用いたコストセンシティブ学習を統合することで、不均衡データセットにおける少数クラスのDBN性能の向上。
• SMOTE や ADASYN などのリサンプリング手法と比較して、計算負荷を低減しながら分類精度を維持または向上。
• 特に工具状態監視などの実世界応用に適した、大規模な不均衡データセットにおける効果的かつ効率的な学習の実現。

提案手法

• 提案されたECS-DBNは、適応的微分進化（jDE）を用いて誤分類コストを最適化することで、深層信念ネットワークにコストセンシティブ学習を統合する。
• jDEアルゴリズムは最適化中にパラメータを動的に調整し、事前知識が不要な状態で最適コスト値の自動探索を可能にする。
• 最適化の目的関数は、感度と特異度のバランスを取るG-mean指標に基づく。これにより、少数クラスの性能向上が保証される。
• 誤分類コストは、元のデータ分布を損なわず、訓練データ上で最適化され、その後DBNに適用される。
• リサンプリング手法と比較して計算コストが低く、多クラスおよび動的データ環境へのスケーラビリティと拡張性を備えている。
• フレームワークは58のベンチマークデータセットと実世界の金型ドリル故障診断データセットを用いて評価され、10回の試行で5分割交差検証が実施された。

Figure 1 : Schematic diagram of a cost-sensitive deep belief network (CSDBN) with misclassification costs for different classes in the output layer .

実験結果

リサーチクエスチョン

• RQ1 進化的コストセンシティブアプローチは、不均衡分類タスクにおける深層信念ネットワークの性能を向上させることができるか？
• RQ2 実世界の応用においてコストが未知である場合、適応的微分進化アルゴリズムは誤分類コストをどのように最適化するか？
• RQ3 提案されたECS-DBNは、大規模データセットにおいて、精度と計算効率の両面で従来のリサンプリングベースの手法（例：SMOTE, ADASYN）を上回るか？
• RQ4 コストセンシティブ学習戦略は、主力クラスの性能を劣化させることなく、少数クラス検出をどの程度向上させるか？
• RQ5 ECS-DBNフレームワークは、工具状態監視のような実世界産業応用に効果的に適用可能か？

主な発見

• ECS-DBNは、58のベンチマークデータセットにおいて、標準DBN、SMOTE-DBN、ADASYN-DBN、および他のリサンプリングベース手法を著しく上回り、G-meanと精度の両面で優れた性能を示した。
• 実世界の金型ドリル故障診断データセットでは、ECS-DBNが最高の平均計算効率を達成し、合計時間9977.39 ± 148.55秒を記録。これはSMOTE-SVM-DBN（20942.94 ± 6609.65秒）を上回った。
• 適応的微分進化アルゴリズムは、誤分類コストをわずかな計算オーバーヘッド（合計学習時間のうち1280.28秒）で効率的に最適化した。
• ECS-DBNは最適コスト値を特定することで少数クラスの正答率を向上させ、図9で妥当性が検証された。図9では、グリッドサーチや標準DBNと比較して少数クラス正答率が顕著に高かった。
• 図8に示すように、ECS-DBNは誤分類コストのグリッドサーチよりも高いG-meanと精度を達成した。実線のイエローサークル（ECS-DBN）は、他の設定を常に上回った。
• フレームワークは頑健性とスケーラビリティを示し、CNNやコンceptドリフトを伴うオンライン学習環境など、他のディープラーニングモデルへの応用拡張が可能である。

Figure 2 : Illustration of chromosome encoding and evolution process in ECS-DBN. The chromosome is encoded with the misclassification costs of different classes in numerical type. The evolution process mainly includes mutation, crossover, evaluation and selection. The population is iteratively evolv