[논문 리뷰] Supervised Dictionary Learning by a Variational Bayesian Group Sparse Nonnegative Matrix Factorization

Ivan Ivek|arXiv (Cornell University)|2014. 05. 27.

Face and Expression Recognition참고 문헌 32인용 수 7

한 줄 요약

이 논문은 레이블 기반의 저차원 특징 부분공간을 학습하기 위해 변분 베이지안 군집 희박 비음수 행렬 분해(NMF)를 사용하는 지도 학습 사전 학습 방법을 제안한다. 클래스 레이블을 계수 희박성 내의 군집 구조로 모델링하여 분류 성능를 향상시키며, 비지도 NMF 기반 방법에 비해 얼굴 및 얼굴 표정 인식 성능에서 뛰어난 성능을 달성한다.

ABSTRACT

Nonnegative matrix factorization (NMF) with group sparsity constraints is formulated as a probabilistic graphical model and, assuming some observed data have been generated by the model, a feasible variational Bayesian algorithm is derived for learning model parameters. When used in a supervised learning scenario, NMF is most often utilized as an unsupervised feature extractor followed by classification in the obtained feature subspace. Having mapped the class labels to a more general concept of groups which underlie sparsity of the coefficients, what the proposed group sparse NMF model allows is incorporating class label information to find low dimensional label-driven dictionaries which not only aim to represent the data faithfully, but are also suitable for class discrimination. Experiments performed in face recognition and facial expression recognition domains point to advantages of classification in such label-driven feature subspaces over classification in feature subspaces obtained in an unsupervised manner.

연구 동기 및 목표

• 분류 작업을 위한 특징 표현을 향상시키기 위해 클래스 레이블 정보를 활용하는 지도 학습 사전 학습 프레임워크를 개발하는 것.
• 계수 행렬 내의 클래스 레이블을 기반으로 한 군집 구조를 기반으로 NMF에 군집 희박성 제약 조건을 통합하는 것.
• 확률적 그래픽 모델 프레임워크 내에서 모델 파라미터의 엔드 투 엔드 학습을 위한 변분 베이지안 추론 알고리즘을 유도하는 것.
• 레이블 기반 사전 학습 사전이 비지도 특징 부분공간보다 분류 작업에서 뛰어난 성능을 보이는지 입증하는 것.
• 실세계 얼굴 및 얼굴 표정 인식 데이터셋에서 방법의 타당성을 검증하는 것.

제안 방법

• 계수 희박성 내의 군집 구조를 인코딩하기 위해 계층적 사전 확률을 사용하는 확률적 그래픽 모델로 군집 희박 NMF를 공식화하는 것.
• 잠재 변수 및 모델 파라미터의 사후 분포를 근사하기 위해 변분 베이지안 추론 알고리즘을 도입하는 것.
• 계수 행렬에 군집 희박성 유도 사전을 적용하여, 그룹이 클래스 레이블에 대응하도록 하여 분류 성능 향상을 위한 특징 학습을 촉진하는 것.
• 클래스 레이블을 군집 식별자로 매핑하여 모델을 지도 학습에 적용함으로써 레이블 인식 사전 학습을 가능하게 하는 것.
• 계산 효율성을 확보하기 위해 평균 필드 근사법을 사용하여 변분 파라미터의 폐쇄형 업데이트 식을 도출하는 것.
• 각 클래스 군집에 대해 희박성 제약 조건을 부여하면서 사전 원소와 계수를 동시에 최적화하는 확률적 프레임워크를 활용하는 것.

실험 결과

연구 질문

• RQ1 NMF의 희박성 구조에 클래스 레이블 정보를 통합하면 분류를 위한 특징 표현이 향상되는가?
• RQ2 변분 베이지안 추론를 적용한 군집 희박 NMF는 지도 학습 인식 작업에서 기존 비지도 NMF에 비해 어떻게 비교되는가?
• RQ3 제안된 방법이 저차원 특징 부분공간에서 분류 성능 향상에 얼마나 기여하는가?
• RQ4 클래스 레이블 기반의 군집 희박성 사용이 더 컴act하고 정보량이 많은 사전를 생성하는가?
• RQ5 이 방법은 다양한 얼굴 및 표정 인식 벤치마크에서 얼마나 강인한가?

주요 결과

• 제안된 방법은 얼굴 인식 및 얼굴 표정 인식 작업 모두에서 비지도 NMF에 비해 높은 분류 정확도를 달성한다.
• 군집 희박 NMF를 통해 학습된 레이블 기반 사전는 클래스 식별자와 일치하는 구조적 희박성 덕분에 더 뛰어난 분류 능력을 보인다.
• 변분 베이지안 추론 프레임워크는 불확실성 정량화를 가능하게 하여 모델 안정성을 향상시킨다.
• 실험 결과는 레이블 정보를 군집 희박성으로 통합함으로써 더 컴act하고 의미 있는 특징 표현이 도출됨을 확인한다.
• 특히 소수의 샘플이 존재하는 환경에서 기준 방법 대비 분류 F1 점수와 정확도에서 뛰어난 성능을 보인다.
• 확률적 공식화는 마진 가능도 최적화를 통해 하이퍼파ram터 및 모델 복잡도를 체계적으로 다룰 수 있게 한다.