[논문 리뷰] A deep matrix factorization method for learning attribute representations

George Trigeorgis, Konstantinos Bousmalis외 2명|arXiv (Cornell University)|2015. 09. 10.

Face and Expression Recognition참고 문헌 33인용 수 4

한 줄 요약

이 논문은 잠재 속성을 다중 계층의 비음성 분해를 통해 모델링함으로써 더 나은 군집화와 분류를 위한 계층적이고 저차원의 표현을 학습하는 딥 매트릭스 분해 모델인 Deep Semi-NMF를 제안한다. 또한 그래프 정규화를 통해 부분적인 속성 레이블을 활용하는 약한 지도 학습 변종인 Deep WSF를 도입하여, 특히 레이블이 제한된 준지도 학습 환경에서 최신 기술들보다 뛰어난 성능을 보였다.

ABSTRACT

Semi-Non-negative Matrix Factorization is a technique that learns a low-dimensional representation of a dataset that lends itself to a clustering interpretation. It is possible that the mapping between this new representation and our original data matrix contains rather complex hierarchical information with implicit lower-level hidden attributes, that classical one level clustering methodologies can not interpret. In this work we propose a novel model, Deep Semi-NMF, that is able to learn such hidden representations that allow themselves to an interpretation of clustering according to different, unknown attributes of a given dataset. We also present a semi-supervised version of the algorithm, named Deep WSF, that allows the use of (partial) prior information for each of the known attributes of a dataset, that allows the model to be used on datasets with mixed attribute knowledge. Finally, we show that our models are able to learn low-dimensional representations that are better suited for clustering, but also classification, outperforming Semi-Non-negative Matrix Factorization, but also other state-of-the-art methodologies variants.

연구 동기 및 목표

• 데이터의 복잡한 계층적 속성 구조를 포괄하지 못하는 단일 계층 매트릭스 분해의 한계를 해결하기 위해.
• 더 나은 군집화 해석성을 위한 다수의 은닉 표현 수준을 학습하는 비지도 학습 기반의 딥 아키텍처를 개발하기 위해.
• 부분적인 속성 레이블을 분해 과정에 통합하여 준지도 학습 환경에서의 특징 학습을 향상시키기 위해.
• 딥 분해가 표준 NMF와 Semi-NMF보다 얼굴 속성 군집화 및 분류에 더 나은 표현을 제공하는지 입증하기 위해.
• Deep WSF를 통한 사전 학습이 비지도 환경에서의 후속 군집화 성능을 향상시키는지 보여주기 위해.

제안 방법

• 데이터 행렬 X를 다중 계층의 요소 Z와 H로 분해하는 딥 아키텍처인 Deep Semi-NMF를 제안하며, 각 계층은 데이터의 은닉 속성에 대한 한 수준의 추상화를 나타낸다.
• 비선형 딥 모델을 사용하여 비선형적으로 분리되지 않는 데이터를 선형적으로 분리 가능한 공간으로 투영함으로써 더 나은 군집화를 가능하게 한다.
• Deep WSF 변종에서는 그래프 정규화를 적용하여 알려진 속성의 부분적인 레이블 정보를 통합함으로써 특징 학습을 향상시킨다.
• H 요소에 음수 제약 조건을 적용한 채로 반복 최소 제곱법을 사용하여 모델을 최적화하며, Z와 X에는 혼합된 부호를 允허한다.
• 포즈, 표정, 정체성 속성에 각각 대응하는 3계층의 다층 구조를 활용하며, 각 계층은 해당 속성의 표현을 학습하도록 훈련된다.
• CMU Multi-PIE 데이터셋에서 학습된 특징의 평가를 위해 C=1인 SVM를 사용하며, 다양한 모델 간 성능을 비교한다.

실험 결과

연구 질문

• RQ1 딥 매트릭스 분해 모델은 단일 계층 방법보다 데이터의 잠재 속성을 더 효과적으로 포괄하는 계층적 표현을 학습할 수 있는가?
• RQ2 그래프 정규화를 통해 부분적인 속성 레이블을 통합하면 군집화 및 분류를 위한 학습된 표현의 품질이 향상되는가?
• RQ3 Deep WSF 모델이 Deep Semi-NMF 모델을 사전 학습시켜 레이블이 없는 데이터에서의 군집화 성능을 향상시킬 수 있는가?
• RQ4 Deep Semi-NMF와 Deep WSF의 성능은 얼굴 속성 군집화 및 분류에서 최신 기술 기반의 NMF 변종들과 비교해 어떻게 되는가?
• RQ5 딥 아키텍처는 비선형 데이터 분포에서 특징의 분리 가능성에 얼마나 기여하는가?

주요 결과

• Deep Semi-NMF는 CMU Multi-PIE 데이터셋에서 정체성 군집화 작업에서 61.22%의 정확도를 기록하여 Semi-NMF(36.46%)와 표준 NMF(49.12%)를 모두 앞섰다.
• Deep WSF는 정체성 분류 작업에서 65.17%의 정확도를 기록하여 이어지는 최고 성능 모델인 WSF-MA(64.08%)와 모든 비지도 기반 기준 모델을 능가했다.
• Pose와 표현 분류 작업에서 Deep WSF는 각각 82.90%와 81.50%의 성능을 기록하여 Deep Semi-NMF의 81.50%와 80.54%를 상회했다.
• Deep WSF에서의 가중치를 사용해 Deep Semi-NMF 모델을 사전 학습시키면 군집화 성능이 향상되었으며, 이는 학습된 특징의 이식성(transferability)을 입증했다.
• 딥 아키텍처는 얕은 분해 모델보다 군집화 및 분류에 더 적합한 표현을 성공적으로 학습했다.
• Deep WSF에서의 그래프 정규화를 통해 부분적인 속성 레이블을 효과적으로 활용하여, 완전히 비지도 학습 모델보다 더 나은 특징 학습 성능을 달성했다.