[논문 리뷰] Sparse, Collaborative, or Nonnegative Representation: Which Helps Pattern Classification?

Jun Xu, Wangpeng An외 2명|arXiv (Cornell University)|2018. 06. 12.

Face and Expression Recognition참고 문헌 82인용 수 5

한 줄 요약

이 논문은 동종 샘플에 대한 표현 능력을 향상시키고 异종 샘플을 억제하기 위해 비음수 코딩 계수를 강제 적용하는 Non-negative Representation-based Classifier (NRC)를 제안한다. 이는 더 희박하고 더 구분력 있는 표현을 가능하게 하며, 깊이 학습된 특징을 사용한 여러 시각 분류 벤치마크에서 SRC 및 CRC를 능가하는 최신 기술 수준의 성능을 달성한다.

ABSTRACT

The use of sparse representation (SR) and collaborative representation (CR) for pattern classification has been widely studied in tasks such as face recognition and object categorization. Despite the success of SR/CR based classifiers, it is still arguable whether it is the $\ell_{1}$-norm sparsity or the $\ell_{2}$-norm collaborative property that brings the success of SR/CR based classification. In this paper, we investigate the use of nonnegative representation (NR) for pattern classification, which is largely ignored by previous work. Our analyses reveal that NR can boost the representation power of homogeneous samples while limiting the representation power of heterogeneous samples, making the representation sparse and discriminative simultaneously and thus providing a more effective solution to representation based classification than SR/CR. Our experiments demonstrate that the proposed NR based classifier (NRC) outperforms previous representation based classifiers. With deep features as inputs, it also achieves state-of-the-art performance on various visual classification tasks.

연구 동기 및 목표

• 비음수 표현(NR)이 패턴 분류에 있어 희소 표현(SR) 및 협동 표현(CR)에 비해 더 효과적인 대안이 될 수 있는지 조사하기 위해.
• SR/CR에서의 음수 코딩 계수의 한계를 해결하기 위해, 이는 직관적인 데이터 조합과 모순되며 구분력을 떨어뜨린다.
• 비음수 제약 조건을 활용하여 자연스럽게 희박성과 구분력을 증진시키는 단순하면서도 효과적인 분류기를 개발하기 위해.
• 다양한 시각 데이터셋에서 기존의 SR/CR 방법에 비해 NR 기반 분류의 우수성을 검증하기 위해.

제안 방법

• 학습 샘플을 기반으로 쿼리 샘플을 비음수 계수만을 사용하여 인코딩하기 위한 비음수 제약이 있는 최소 제곱 모델을 수립한다.
• 변수 분할과 교차 방식의 다중 승수 방법(ADMM)을 사용하여 비음수 표현 최적화 문제를 효율적으로 해결한다.
• 비음수 코딩 벡터를 사용하여 재구성 오차가 가장 작은 클래스에 쿼리 샘플을 할당한다.
• 대규모 시각 작업에서 성능을 평가하기 위해 딥 컨volution 네트워크 특징(예: VGG, AlexNet)을 입력 표현으로 통합한다.
• 비음수 제약 조건을 적용하여 이질적 샘플의 표현 능력을 제한하고, 동종 샘플의 표현 능력을 향상시킨다.
• 코딩 벡터가 비음수임을 보장함으로써, 파괴적 상쇄를 방지함으로써 자연스럽게 희박성과 구분력을 증진시킨다.

실험 결과

연구 질문

• RQ1 비음수 코딩 계수를 강제 적용할 경우, 희소 표현 및 협동 표현에 비해 패턴 분류 성능이 향상되는가?
• RQ2 명시적인 ℓ1 정규화 없이도 비음수 표현이 자연스럽게 희박성과 구분성을 달성할 수 있는가?
• RQ3 다양한 시각 데이터셋에서 제안된 NRC 분류기는 SRC 및 CRC에 비해 정확도와 내성에 있어 어떻게 비교되는가?
• RQ4 사전 훈련된 CNN의 깊이 학습된 특징을 사용할 때 NRC는 최신 기술 수준의 성능을 달성할 수 있는가?

주요 결과

• PASCAL VOC 2010 데이터셋에서 NRC는 기준 방법보다 4.7% 향상된 성능을 기록했으며, SRC 및 CRC를 능가했다.
• Stanford 40 데이터셋에서 NRC는 81.9%의 정확도를 달성하여 VGG19(77.2%) 및 기타 최신 기술 수준의 방법을 초월했다.
• Caltech-256에서 NRC는 84.4%의 정확도를 기록했으며, SJFT(83.8%) 및 기타 선도적인 CNN 기반 방법을 능가했다.
• CUB200-2011에서 NRC는 79.1%의 정확도를 기록했으며, NAC(81.0%)에 비해 略적으로 낮지만, 비교된 모든 다른 방법보다 뛰어났다.
• Flower 102 데이터셋에서 NRC는 NAC(95.3%)와 동일한 성능을 기록했으며, 다른 모든 방법보다 최소 2.2% 이상 높았다.
• Aircraft 및 Cars 데이터셋에서 NRC는 각각 87.5% 및 90.8%의 정확도를 기록했으며, B-CNN에 비해 각각 3.4% 및 0.2% 높았다.