[논문 리뷰] Constructing a Non-Negative Low Rank and Sparse Graph with Data-Adaptive Features

Liansheng Zhuang, Shenghua Gao외 4명|arXiv (Cornell University)|2014. 09. 03.

Face and Expression Recognition참고 문헌 27인용 수 3

한 줄 요약

이 논문은 전반적인 저질서 구조와 국소적인 흩어진 이웃 구조를 동시에 포착하기 위해 데이터 임bedding와 그래프 구축을 함께 학습하는 비음수 저질서 및 희소 그래프(NNLRS-graph)를 제안한다. 이 방법은 얼굴 인식 데이터셋에서 최신 기술들을 능가하며, 특징과 그래프 구조의 공동 학습이 분류 정확도와 강인성에 상당한 향상을 이끌어낸다는 것을 입증한다.

ABSTRACT

This paper aims at constructing a good graph for discovering intrinsic data structures in a semi-supervised learning setting. Firstly, we propose to build a non-negative low-rank and sparse (referred to as NNLRS) graph for the given data representation. Specifically, the weights of edges in the graph are obtained by seeking a nonnegative low-rank and sparse matrix that represents each data sample as a linear combination of others. The so-obtained NNLRS-graph can capture both the global mixture of subspaces structure (by the low rankness) and the locally linear structure (by the sparseness) of the data, hence is both generative and discriminative. Secondly, as good features are extremely important for constructing a good graph, we propose to learn the data embedding matrix and construct the graph jointly within one framework, which is termed as NNLRS with embedded features (referred to as NNLRS-EF). Extensive experiments on three publicly available datasets demonstrate that the proposed method outperforms the state-of-the-art graph construction method by a large margin for both semi-supervised classification and discriminative analysis, which verifies the effectiveness of our proposed method.

연구 동기 및 목표

• 고차원 데이터에서 전반적인 저질서 구조와 국소적인 희소 구조를 동시에 포착하는 데에 기존 그래프 구축 방법의 한계를 해결하기 위해.
• 유사도 그래프에 대해 물리적 해석이 불가능한 음수 가중치를 갖는 저질서 표현의 문제를 해결하기 위해.
• 데이터 임베딩과 그래프 구조를 별도로 다루는 대신 함께 최적화하여 그래프 기반의 준감독 학습을 향상시키기 위해.
• 전반적인 구조를 포착하는 생성적(genetic)이면서 동시에 국소 기하학을 유지하는 분류적(discriminative)인 그래프 구축 방법을 개발하기 위해.

제안 방법

• 다른 데이터 포인트들의 선형 조합에서 유도되는 비음수 계수를 엣지 가중치로 사용하는 그래프를 학습하기 위해 비음수 저질서 및 희소 표현 문제를 수립한다.
• 비음수성을 부여하여 각 데이터 포인트가 이웃 포인트들의 볼록 결합 내에 위치하도록 하여 해석 가능성과 물리적 의미를 향상시킨다.
• 희소성 조건을 부여하여 국소 선형 구조를 포착하고, 저질서성 조건을 통해 데이터 내 부분공간의 전반적 혼합을 모델링한다.
• 데이터 임베딩 행렬과 NNLRS-graph를 하나의 목적 함수 내에서 동시에 학습하는 공동 최적화 프레임워크인 NNLRS-EF를 도입한다.
• 비볼록성, 비미분 가능성, 비음수 제약 조건을 다루기 위해 분할 수식법(ADMM)을 사용하여 최적화 문제를 해결한다.
• 스parseness와 저질서성 간의 균형을 조절하는 파라미터 β와 데이터 내 심각한 오염 오차를 처리하는 λ를 사용한 매개변수화된 정규화 기법을 적용한다.

실험 결과

연구 질문

• RQ1 비음수 저질서 및 희소 표현을 통해 구축된 그래프가 기존 방법보다 전반적인 구조와 국소적 구조를 더 잘 포착할 수 있는가?
• RQ2 데이터 임베딩과 그래프 구축을 공동으로 학습하는 것이 순차적 처리 방식보다 성능 향상에 기여하는가?
• RQ3 스파arsity와 저질서성 간의 트레이드오프에 영향을 미치는 β 파라미터의 영향은 무엇인가?
• RQ4 그래프 학습 프레임워크 내부에 데이터 임베딩을 통합하면 분류 정확도와 강인성이 향상되는가?
• RQ5 실제 준감독 학습 과제에서 β와 λ와 같은 파라미터 설정에 대해 NNLRS-graph는 얼마나 민감한가?

주요 결과

• NNLRS-graph는 YaleB와 PIE 얼굴 데이터베이스에서 최신 기술보다 유의미하게 낮은 분류 오차율을 기록했으며, PIE 데이터셋에서 50%의 레이블이 있는 조건에서 오차율이 5.52%까지 감소했다.
• NNLRS-EF를 통한 공동 학습은 기준선인 PCA+NNLRS 방법보다 성능이 뛰어나며, 특징과 그래프 구조를 종합적으로 최적화하는 것이 더 나은 성능을 낳음을 입증한다.
• 파라미터 민감도 분석 결과, 스파arsity(β)와 저질서성 모두가 핵심 요소임을 확인했으며, β가 너무 크거나(예: β=100) 너무 작을 경우 성능이 저하되며, β=0.2일 때 최적의 성능을 기록했다.
• NNLRS-graph는 레이블 비율이 변할 때에도 강건한 성능을 유지했으며, PIE 데이터셋에서 레이블 비율이 10%일 때 오차율 38.93%에서 60%일 때 6.52%까지 점차 감소했다.
• λ를 10로 고정했을 때도 안정적인 성능을 기록하여, 심각한 오염 오차를 효과적으로 처리함을 입증했으며, 이는 데이터 오염에 대한 강인성을 보여준다.
• 제안된 프레임워크는 준감독 분류와 분류 분석 모두에서 최신 기술 수준의 성능을 달성했으며, 이는 내재된 데이터 구조를 효과적으로 드러내는 데에 유용함을 확인한다.