[論文レビュー] Cost-aware pre-training for multiclass cost-sensitive deep learning

Yu-An Chung, Hsuan-Tien Lin+1 more|arXiv (Cornell University)|Jul 9, 2016

Adversarial Robustness in Machine Learning参考文献 33被引用数 19

ひとこと要約

本稿では、事前学習段階および微調整段階の両方で誤分類コスト情報を埋め込む新しい損失関数を統合することにより、マルチクラスコストセンシティブなディープラーニングのためのコストに配慮した事前学習手法を提案する。このアプローチにより、コストに配慮しない非ディープモデルやコストに配慮しないディープモデルと比較して、コストに配慮した特徴抽出と分類が可能となり、広範な実験により妥当性が検証された。

ABSTRACT

Deep learning has been one of the most prominent machine learning techniques nowadays, being the state-of-the-art on a broad range of applications where automatic feature extraction is needed. Many such applications also demand varying costs for different types of mis-classification errors, but it is not clear whether or how such cost information can be incorporated into deep learning to improve performance. In this work, we first design a novel loss function that embeds the cost information for the training stage of cost-sensitive deep learning. We then show that the loss function can also be integrated into the pre-training stage to conduct cost-aware feature extraction more effectively. Extensive experimental results justify the validity of the novel loss function for making existing deep learning models cost-sensitive, and demonstrate that our proposed model with cost-aware pre-training and training outperforms non-deep models and other deep models that digest the cost information in other stages.

研究の動機と目的

• 異なる誤分類コストをディープラーニングモデルに統合することで、性能を向上させるという課題に対処すること。
• ディープニューラルネットワークの事前学習段階において、コスト情報が効果的に活用可能かどうかを検討すること。
• 事前学習から微調整に至るまでコストセンシティブな学習を統合する統一されたトレーニングフレームワークを設計すること。
• コストに配慮した事前学習が、非ディープモデルやコストに配慮しないディープモデルと比較して、より優れた一般化性能と性能を発揮することを示すこと。

提案手法

• トレーニング中にクラス固有の誤分類コストを明示的に符号化する新しい損失関数を提案する。
• コストに配慮した特徴学習を可能にするために、この損失関数を事前学習段階に適応する。
• コストに配慮した損失関数を、ディープラーニングパイプラインの事前学習段階とその後の微調整段階の両方に統合する。
• 標準的なディープニューラルネットワークアーキテクチャに、変更を加えた損失関数を適用して、エンドツーエンドでモデルを訓練する。
• 新しい損失関数を用いて、標準的なバックプロパゲーションおよび最適化手法を用いて、ネットワーク重みを更新する。
• 異なるコスト構造を持つ複数のマルチクラスデータセットを用いて、手法の妥当性を検証する。

実験結果

リサーチクエスチョン

• RQ1 コスト情報は、ディープラーニングの事前学習段階に効果的に統合可能であり、特徴表現の向上に寄与するか？
• RQ2 コストに配慮した事前学習は、標準的な事前学習と比較して、下流の分類性能においてどのように異なるか？
• RQ3 事前学習段階と微調整段階の両方でコストセンシティブな損失を統合することは、トレーニング段階または推論段階でのみコスト感度を適用する場合よりも優れた結果をもたらすか？
• RQ4 提案手法は、非ディープなコストセンシティブモデルや標準的なディープラーニングモデルと比較して、どのように性能を発揮するか？

主な発見

• 提案されたコストに配慮した事前学習手法は、マルチクラスコストセンシティブな学習タスクにおける分類性能を顕著に向上させる。
• コストに配慮した事前学習とトレーニングを施したモデルは、後段の段階でのみコスト情報を統合する非ディープモデルや他のディープラーニングモデルを上回る性能を示す。
• 新規の損失関数により、事前学習段階と微調整段階の両方で効果的なコストセンシティブな学習が可能となり、より優れた特徴抽出が実現された。
• 広範な実験結果により、提案された損失関数がトレーニングパイプライン全体にわたりコスト情報を効果的に埋め込めることが検証された。