[論文レビュー] Sparse, Collaborative, or Nonnegative Representation: Which Helps Pattern Classification?

Jun Xu, Wangpeng An+2 more|arXiv (Cornell University)|Jun 12, 2018

Face and Expression Recognition参考文献 82被引用数 5

ひとこと要約

本稿では、同種のサンプルの表現力を強化するとともに、異種のサンプルを抑制するため、非負の符号化係数を強制するNon-negative Representation-based Classifier (NRC)を提案する。これにより、スパースでより判別力のある表現が得られる。NRCはSRCおよびCRCを上回り、深層特徴を用いた複数の視覚分類ベンチマークで最先端の性能を達成する。

ABSTRACT

The use of sparse representation (SR) and collaborative representation (CR) for pattern classification has been widely studied in tasks such as face recognition and object categorization. Despite the success of SR/CR based classifiers, it is still arguable whether it is the $\ell_{1}$-norm sparsity or the $\ell_{2}$-norm collaborative property that brings the success of SR/CR based classification. In this paper, we investigate the use of nonnegative representation (NR) for pattern classification, which is largely ignored by previous work. Our analyses reveal that NR can boost the representation power of homogeneous samples while limiting the representation power of heterogeneous samples, making the representation sparse and discriminative simultaneously and thus providing a more effective solution to representation based classification than SR/CR. Our experiments demonstrate that the proposed NR based classifier (NRC) outperforms previous representation based classifiers. With deep features as inputs, it also achieves state-of-the-art performance on various visual classification tasks.

研究の動機と目的

• 非負表現(NR)がパターン分類のためのスパース(SR)およびコラボラティブ(CR)表現のより効果的な代替手段であるかどうかを調査すること。
• SR/CRにおける負の符号化係数の制限を是正すること。これは直感的なデータの組み合わせに反し、判別力を低下させる。
• 非負制約を活用することで、自然にスパarsityと判別力を促進する、シンプルだが効果的な分類器を開発すること。
• 多様な視覚データセットにおいて、NRに基づく分類の優位性を検証すること。

提案手法

• 訓練サンプル上で非負係数のみを用いて、クエリサンプルを符号化する非負制約付き最小二乗モデルを構築する。
• 変数分割と交替方向乗数法(ADMM)を用いて、非負表現最適化問題を効率的に解く。
• 非負符号化ベクトルを用いて、再構成誤差が最小となるクラスにクエリサンプルを割り当てる。
• 大規模な視覚タスクにおける性能評価のため、深層畳み込みニューラルネットワーク特徴（例：VGG、AlexNet）を入力表現として統合する。
• 非負制約を適用して、異種サンプルの表現力を制限するとともに、同種サンプルの表現力を高める。
• 符号化ベクトルを非負に保つことで、破壊的キャンセルを回避し、自然にスパースで判別力のある表現を促進する。

実験結果

リサーチクエスチョン

• RQ1 非負符号化係数を強制することで、スパースおよびコラボラティブ表現と比較してパターン分類性能が向上するか？
• RQ2 非負表現は、明示的なℓ1正則化なしに自然にスパarsityと判別性を達成できるか？
• RQ3 提案されたNRC分類器は、多様な視覚データセットにおいて、SRCおよびCRCと比較して精度と頑健性に優れているか？
• RQ4 事前学習済みのCNNからの深層特徴を用いた場合、NRCは最先端の性能を達成できるか？

主な発見

• PASCAL VOC 2010データセットでは、NRCがベースライン手法を4.7%上回り、SRCおよびCRCを上回った。
• Stanford 40データセットでは、NRCが81.9%の精度を達成し、VGG19（77.2%）および他の最先端手法を上回った。
• Caltech-256では、NRCが84.4%の精度を達成し、SJFT（83.8%）および他の優れたCNNベース手法を上回った。
• CUB200-2011では、NRCが79.1%の精度を達成し、NAC（81.0%）をわずかに下回ったが、他のすべての比較手法を上回った。
• Flower 102データセットでは、NRCがNAC（95.3%）と同等の精度を達成し、他のすべての手法を少なくとも2.2%以上上回った。
• AircraftおよびCarsデータセットでは、NRCがそれぞれ87.5%および90.8%の精度を達成し、B-CNNを3.4%および0.2%上回った。