[논문 리뷰] Collaborative Representation for Classification, Sparse or Non-sparse?

Yang Wu, Jarich Vansteenberge외 2명|arXiv (Cornell University)|2014. 03. 06.

Face and Expression Recognition참고 문헌 16인용 수 9

한 줄 요약

이 논문은 데이터셋 크기, 특징 차원 수, 그리고 특징 표현에서 유도된 분류 점수를 바탕으로 분류 작업을 위해 희박(CRC$_{l_1}$)과 비희박(CRC$_{l_2}$) 공동 표현 간 사전 선택을 위한 새로운 스코어 함수를 제안한다. 또한 비희박 표현을 위한 간단하면서도 효과적인 사전 학습 방법인 DL-NSCR를 도입하여 다양한 데이터셋에서 정확도, 강인성, 효율성 측면에서 최신 기술을 초월한다.

ABSTRACT

Sparse representation based classification (SRC) has been proved to be a simple, effective and robust solution to face recognition. As it gets popular, doubts on the necessity of enforcing sparsity starts coming up, and primary experimental results showed that simply changing the $l_1$-norm based regularization to the computationally much more efficient $l_2$-norm based non-sparse version would lead to a similar or even better performance. However, that's not always the case. Given a new classification task, it's still unclear which regularization strategy (i.e., making the coefficients sparse or non-sparse) is a better choice without trying both for comparison. In this paper, we present as far as we know the first study on solving this issue, based on plenty of diverse classification experiments. We propose a scoring function for pre-selecting the regularization strategy using only the dataset size, the feature dimensionality and a discrimination score derived from a given feature representation. Moreover, we show that when dictionary learning is taking into account, non-sparse representation has a more significant superiority to sparse representation. This work is expected to enrich our understanding of sparse/non-sparse collaborative representation for classification and motivate further research activities.

연구 동기 및 목표

• 주어진 분류 작업에서 희박 표현과 비희박 표현 중 어느 것이 더 우월한지에 대한 해결되지 않은 질문을 다루는 것.
• 모델 비교를 전반적으로 수행하지 않고도 최적의 정규화 전략을 사전에 선택할 수 있는 신뢰할 수 있고 데이터 기반 기준을 개발하는 것.
• 희박 표현이 아닌 비희박 공동 표현을 향상시키는 데 사전 학습의 잠재력을 탐색하는 것, 이는 거의 연구되지 않은 분야이다.
• 비희박 표현에 사전 학습을 적용할 경우 기존의 희박 및 비희박 기반 모델보다 정확도, 강인성, 효율성 측면에서 뛰어나다는 것을 보여주는 것.

제안 방법

• 데이터셋 크기, 특징 차원 수, 특징 표현에서 유도된 분류 점수만을 사용하는 분석적 스코어 함수를 제안하여 더 나은 정규화 전략을 예측한다.
• 비희박 공동 표현을 위한 사전 학습 모델인 DL-NSCR를 도입하며, 이는 $l_2$-노름 정규화와 수학적 수렴 보장을 갖춘 교대 최적화를 사용한다.
• DL-NSCR에 대해 교대 최적화 프레임워크를 활용하며, 표현 계수와 사전 원소에 대해 닫힌 형태의 갱신을 제공하여 빠른 수렴을 보장한다.
• DL-NSCR의 계산 복잡도를 학습 시 $\mathcal{O}((K+n)dKL + K^3L + K^2n)$, 테스트 시 $\mathcal{O}((d+K+L)KL)$로 유도하여 우수한 확장성과 함께 보여준다.
• 13개의 다양한 데이터셋에서 광범위한 실험을 통해 최신 기술의 희박 및 비희박 모델과의 비교를 수행하여 방법의 타당성을 검증한다.

실험 결과

연구 질문

• RQ1 모델 비교 없이도 데이터 기반 스코어 함수가 희박 및 비희박 공동 표현 간 신뢰성 있게 사전 선택을 수행할 수 있는가?
• RQ2 사전 학습을 적용한 비희박 공동 표현이 기존의 희박 및 비희박 모델보다 분류 성능에서 뛰어나게 되는가?
• RQ3 비희박 공동 표현의 성능은 특징 차원 수와 데이터셋 크기에 따라 어떻게 변하는가?
• RQ4 사전 학습이 적용되었을 때 희박 모델과 비희박 모델 간에 뚜렷한 성능 격차가 존재하는가?

주요 결과

• 제안된 스코어 함수는 다양한 데이터셋에서 높은 정확도로 더 나은 정규화 전략을 성공적으로 예측하였다.
• DL-NSCR는 13개 데이터셋 중 12개에서 CRC$_{l_2}$ 성능을 크게 향상시켜 강력한 일반화 능력과 강인성을 입증하였다.
• DL-NSCR는 5개의 분류 작업 중 4개에서 모든 경쟁 모델을 앞서며, 이전에는 CRC$_{l_1}$이 우월했던 데이터셋에서도 최고 성능을 기록하였다.
• DL-NSCR는 모든 사전 학습 모델 중에서 가장 빠른 테스트 시간을 기록하였으며, iLIDS-AA46에서 샘플당 평균 테스트 시간이 8.7ms로, 다음으로 빠른 모델의 260ms 대비 뛰어난 효율성을 보였다.
• iLIDS-MA23 및 iLIDS-MA46 데이터셋에서 FDDL(가장 유사한 모델)보다도 DL-NSCR가 성능이 뛰어나며, FDDL은 희박 표현을 위해 설계되었음에도 불구하고 그러한 성능 격차를 극복하지 못했다.
• 결과적으로 비희박 공동 표현에 사전 학습을 적용할 경우 효과성, 강인성, 효율성 측면에서 희박 표현 대비 경쟁력이 있으며 종종 승리한다는 것이 입증되었다.