[論文レビュー] Concave losses for robust dictionary learning

Rafael Will M de Araujo, Roberto Hirata+1 more|arXiv (Cornell University)|Nov 2, 2017

Sparse and Compressive Sensing Techniques参考文献 8被引用数 3

ひとこと要約

本稿では、外れ値への感受性を低減するため、凸でない損失関数を用いたロバストな辞書学習の汎用的フレームワークを提案する。再構成誤差の平方根に凸でない関数を合成することで、外れ値の検出が効果的に行え、辞書の品質が向上する。合成データおよび実世界のデータ（MORPH-IIにおける顔分類含む）において、K-SVD や LC-KSVD を上回る性能を発揮する。

ABSTRACT

Traditional dictionary learning methods are based on quadratic convex loss function and thus are sensitive to outliers. In this paper, we propose a generic framework for robust dictionary learning based on concave losses. We provide results on composition of concave functions, notably regarding super-gradient computations, that are key for developing generic dictionary learning algorithms applicable to smooth and non-smooth losses. In order to improve identification of outliers, we introduce an initialization heuristic based on undercomplete dictionary learning. Experimental results using synthetic and real data demonstrate that our method is able to better detect outliers, is capable of generating better dictionaries, outperforming state-of-the-art methods such as K-SVD and LC-KSVD.

研究の動機と目的

• 従来の辞書学習が2次凸損失関数を用いるため外れ値に対して感受性が強い問題に対処すること。
• 大きな再構成誤差を軽減するため、凸でない損失関数を用いた汎用的なロバストな辞書学習のアルゴリズムを開発すること。
• 新たな過少数辞書初期化ヒューリスティックを導入し、トレーニング中の外れ値同定を改善すること。
• 合成データおよび実世界のデータの両方で優れた性能を示すことを目的とすること、顔属性分類を含む。
• 主要化最小化を用いて滑らかでない非凸損失関数にも適用可能な統一フレームワークを提供すること。

提案手法

• 再構成誤差の平方根に非減少の凸でない関数 g を合成した複合凸でない損失関数 F(u) = g(√u) を用いて辞書学習を定式化し、大きな再構成誤差を軽減する。
• 非凸最適化問題を効率的に解くために、超勾配計算に基づく主要化最小化アルゴリズムを採用する。
• 外れ値検出の向上を図るため、過少数辞書初期化戦略を導入する。
• 係数にスパarsity誘導の ℓ₁ペナルティと、辞書原子にノルム1の制約を適用する。
• 凸関数の上界としての超微分に基づく上界を用い、反復的に目的関数を最小化する。
• 実データセット（MORPH-II など）の評価に、SIFT記述子とBoVWにSVMを組み合わせる。

実験結果

リサーチクエスチョン

• RQ1 凸でない損失関数に基づく汎用的フレームワークは、標準的な2次損失関数と比較して、辞書学習におけるロバスト性を向上させることができるか？
• RQ2 g(√·) のような凸関数の合成は、辞書学習における外れ値検出をどのように向上させるか？
• RQ3 過少数辞書初期化戦略は、トレーニング中の外れ値同定を改善するか？
• RQ4 K-SVD や LC-KSVD といった最先端手法と比較して、提案手法は辞書の品質と分類精度の面で優れているか？
• RQ5 外れ値の割合やデータ次元数が変化する状況でも、本手法はどれほど安定しているか？

主な発見

• 合成実験において対数関数を用いた本手法は、50個の真の外れ値のうち47個を検出できた。K-SVD は外れ値を1つも検出できず、顕著に優れている。
• 対数関数を用いた場合、32次元特徴量を有する合成データにおいて、AUROCが0.98に達し、サンプルサイズや外れ値割合の変化に対しても高い安定性を示した。
• MORPH-II データセットでは、人種分類で96.90%の精度、性別分類で85.79%の精度を達成し、K-SVD（96.23% および 81.88%）および LC-KSVD の変種を上回った。
• 過少数初期化戦略は、原子数がデータ次元数を上回る場合に特に性能向上をもたらし、外れ値の割合が増加しても高いAUROCを維持した。
• サンプル数や外れ値割合の変化に対しても、本手法は安定的かつ効果的であり、実世界の設定でもロバストであることを示した。
• 線形または凸の代替手法と比較して、log(ε + u) やキャップド-ℓ₁ などの凸でない関数の使用が、外れ値検出において優れた性能を発揮した。