[論文レビュー] DeepGUM: Learning Deep Robust Regression with a Gaussian-Uniform Mixture Model

Stéphane Lathuilière, Pablo Mesejo+2 more|arXiv (Cornell University)|Aug 28, 2018

Anomaly Detection Techniques and Applications参考文献 32被引用数 5

ひとこと要約

本稿では、オーバーラップを抑えるために畳み込みニューラルネットワーク（ConvNet）とガウス・一様混合モデルを組み合わせた、深層頑健回帰フレームワークであるDeepGUMを提案する。期待最大化（EM）を用いた教師なし異常値検出と、勾配降下法（SGD）を用いた教師あり学習を交互に適用することで、一様な異常値汚染下でも40％を超える破壊点を達成し、4つの視覚タスクにおいて$L_2$、Huber、Biweight損失よりも精度と頑健性に優れる。

ABSTRACT

In this paper, we address the problem of how to robustly train a ConvNet for regression, or deep robust regression. Traditionally, deep regression employs the L2 loss function, known to be sensitive to outliers, i.e. samples that either lie at an abnormal distance away from the majority of the training samples, or that correspond to wrongly annotated targets. This means that, during back-propagation, outliers may bias the training process due to the high magnitude of their gradient. In this paper, we propose DeepGUM: a deep regression model that is robust to outliers thanks to the use of a Gaussian-uniform mixture model. We derive an optimization algorithm that alternates between the unsupervised detection of outliers using expectation-maximization, and the supervised training with cleaned samples using stochastic gradient descent. DeepGUM is able to adapt to a continuously evolving outlier distribution, avoiding to manually impose any threshold on the proportion of outliers in the training set. Extensive experimental evaluations on four different tasks (facial and fashion landmark detection, age and head pose estimation) lead us to conclude that our novel robust technique provides reliability in the presence of various types of noise and protection against a high percentage of outliers.

研究の動機と目的

• 標準的な$L_2$損失が異常値（誤ラベルデータや異常サンプル）に対して感受性が強い問題に対処する。
• 異常値の割合に手動でしきい値を設定する必要なく、自動的に異常値を検出し、重みを低下させる手法を開発する。
• 特にノイズの多いアノテーションを含む大規模データセットにおいても、深層ニューラルネットワークが信頼性高く一般化できるようにする。
• 確率的異常値モデリングとエンドツーエンドの深層学習を統合し、表現学習と頑健性の共同最適化を実現する。
• 従来のM推定量や頑健回帰手法の代替として、スケーラブルで学習可能な、深層学習パイプラインへの統合が可能な手法を提供する。

提案手法

• ConvNetの最終層にガウス・一様混合（GUM）を用い、インライナーをガウス分布、異常値を一様分布でモデル化する。
• 交互最適化スキームを適用：教師なしEMによる異常値検出と、教師ありSGDによるネットワーク重み更新。
• EMアルゴリズムを活用し、各サンプルの潜在的異常値確率を推定することで、バックプロパゲーション中に動的再重み付けを可能にする。
• GUMからの対数尤度の重み付き和として損失を定式化し、高残差サンプルの影響を低下させる。
• 異常値検出が不安定になる（特にノイズ相関が高い場合）際の過学習を防ぐために、早期停止と適応的学習率を導入する。
• エンドツーエンドで全モデルを訓練することで、ネットワークが頑健な特徴を学習するとともに、同時に異常値の影響を低減する。

実験結果

リサーチクエスチョン

• RQ1 異常値の割合に関する事前知識なしに、高濃度の異常値汚染下でも深層ニューラルネットワークを頑健に訓練できるか？
• RQ2 異なる異常値分布下で、DeepGUMの破壊点はHuber や Biweight といった古典的手法と比べてどうなるか？
• RQ3 ガウス・一様混合モデルは、ノイズの多いアノテーションを含む実世界の視覚タスクにおいて、一般化性能をどの程度向上させるか？
• RQ4 EMベースの異常値検出機構は、誤ラベルデータや異常サンプルの両方の影響を訓練中に効果的に同定・低減できるか？
• RQ5 DeepGUMが失敗する条件は何か？また、ノイズ構造が真値と強く相関している場合（例：ゼロ平均で相関のある汚染）に、どのように適応するか？

主な発見

• l-UGOデータセットでは、DeepGUMが約40％の破壊点を達成し、Biweight や Huber より顕著に優れた性能を示す。30％を超える異常値汚染では、Biweight や Huber は性能と再現率が低下する。
• g-UGOデータセット（異常値が一様に分布）では、DeepGUMが50％を超える破壊点を維持し、高い汚染耐性を示す。
• 異常値検出の観点から見ると、DeepGUMは破壊点以前に一貫して精度と再現率が99％前後を維持するが、Biweight や Huber は異常値比率が上昇するにつれて再現率が著しく低下する。
• ゼロ平均で相関の高いノイズを持つ NGO データセットでは、DeepGUMの性能は$L_2$と同程度に低下するが、収束不良による早期停止が発動するため。それでも自動的に妥当な解に回復する。
• 顔ランドマーク検出、ファッションランドマーク検出、年齢推定、ヘッドポーズ推定の4つの実世界タスクにおいて、DeepGUMは最先端手法と同等または優れた性能を達成しており、仮説検定により統計的有意性が確認された。
• 特に一様な異常値分布下では、破損した訓練セットにおける失敗率を効果的に低減し、訓練サンプルの40–50％が破損している場合でも信頼性のある性能を発揮する。