[論文レビュー] Collaborative Representation for Classification, Sparse or Non-sparse?

Yang Wu, Jarich Vansteenberge+2 more|arXiv (Cornell University)|Mar 6, 2014

Face and Expression Recognition参考文献 16被引用数 9

ひとこと要約

本稿では、データセットサイズ、特徴次元数、および特徴表現から導出される識別スコアを用いて、分類タスクにおいてスパース（CRC$_{l_1}$）とノンスパース（CRC$_{l_2}$）の協調表現のうちより良い方を事前に選択する、新しいスコア関数を提案する。さらに、$l_2$-ノルム正則化と理論的収束保証を備えた、ノンスパース表現のためのシンプルだが効果的な辞書学習手法DL-NSCRを導入し、多様なデータセットにおいて、精度、ロバスト性、効率性の面で最先端のモデルを上回る性能を示す。

ABSTRACT

Sparse representation based classification (SRC) has been proved to be a simple, effective and robust solution to face recognition. As it gets popular, doubts on the necessity of enforcing sparsity starts coming up, and primary experimental results showed that simply changing the $l_1$-norm based regularization to the computationally much more efficient $l_2$-norm based non-sparse version would lead to a similar or even better performance. However, that's not always the case. Given a new classification task, it's still unclear which regularization strategy (i.e., making the coefficients sparse or non-sparse) is a better choice without trying both for comparison. In this paper, we present as far as we know the first study on solving this issue, based on plenty of diverse classification experiments. We propose a scoring function for pre-selecting the regularization strategy using only the dataset size, the feature dimensionality and a discrimination score derived from a given feature representation. Moreover, we show that when dictionary learning is taking into account, non-sparse representation has a more significant superiority to sparse representation. This work is expected to enrich our understanding of sparse/non-sparse collaborative representation for classification and motivate further research activities.

研究の動機と目的

• 与えられた分類タスクにおいて、スパース表現とノンスパース表現のどちらが優れているかという未解決の問いに応えること。
• 膨大なモデル比較を要せず、データ駆動型の基準を用いて最適な正則化戦略を事前に選択する信頼性の高い基準を開発すること。
• 協調表現における辞書学習の可能性を、ほとんど研究が進んでいない分野として探求すること。
• ノンスパース表現に辞書学習を適用することで、スパースおよびノンスパースのベースラインを上回る精度、ロバスト性、効率性を示すこと。

提案手法

• データセットサイズ、特徴次元数、および特徴表現から導出される識別スコアのみを用いて、より良い正則化戦略を予測する解析的スコア関数を提案する。
• $l_2$-ノルム正則化を用い、理論的収束保証を備えたノンスパース協調表現のための辞書学習モデルDL-NSCRを導入する。
• DL-NSCRのための交互最適化フレームワークを採用し、表現係数および辞書アトムの閉形式更新を実装することで、高速な収束を確保する。
• DL-NSCRの計算複雑度を、学習時で$\mathcal{O}((K+n)dKL + K^3L + K^2n)$、テスト時で$\mathcal{O}((d+K+L)KL)$として導出し、良好なスケーラビリティを示す。
• 13種類の多様なデータセットを用いた広範な実験により、複数の最先端のスパースおよびノンスパースモデルと比較して手法の有効性を検証する。

実験結果

リサーチクエスチョン

• RQ1 モデル比較を要せず、モデル比較を要せず、データ駆動型スコア関数がスパースとノンスパース協調表現のうちより良い方を信頼性高く事前に選択できるか？
• RQ2 辞書学習を用いたノンスパース協調表現が、既存のスパースおよびノンスパースモデルを上回る分類性能を示すか？
• RQ3 特徴次元数およびデータセットサイズの変化に伴い、ノンスパース協調表現の性能はどのように変化するか？
• RQ4 辞書学習が適用された場合、スパースモデルとノンスパースモデルの間で顕著な性能差が生じるか？

主な発見

• 提案されたスコア関数は、多様なデータセットにおいて、より良い正則化戦略を高い精度で事前に予測できることを示した。
• DL-NSCRは13データセットのうち12つでCRC$_{l_2}$の性能を顕著に向上させ、優れた一般化性能とロバスト性を示した。
• DL-NSCRは5つの分類タスクのうち4つですべての競合モデルを上回り、CRC$_{l_1}$が以前は優れていたデータセットでも最高の性能を記録した。
• DL-NSCRは、すべての辞書学習モデルの中で最も高速なテスト時間を達成し、iLIDS-AA46では1サンプルあたり中央値8.7 msを記録したのに対し、次に速いモデルは260 msであった。
• iLIDS-MA23およびiLIDS-MA46データセットでは、FDDL（最も類似したモデル）がスパース表現を想定して設計されているにもかかわらず、DL-NSCRがFDDLを上回った。
• 結果から、辞書学習を用いたノンスパース協調表現は、有効性、ロバスト性、効率性の面で、スパース表現の対比的優位性を示すだけでなく、しばしばそれを上回ることを示した。