[논문 리뷰] Semi-Orthogonal Multilinear PCA with Relaxed Start

Qiquan Shi, Haiping Lu|arXiv (Cornell University)|2015. 04. 30.

Gait Recognition and Analysis참고 문헌 21인용 수 4

한 줄 요약

이 논문은 반-직교 다중선형 PCA 및 이완된 시작 전략을 통합한 SO-MPCA-RS를 제안한다. 이는 텐서 기반 차원 축소 방법으로, 전체 모드가 아니라 한 모드에서만 직교성을 강제하여 더 많은 분산을 포착하고 더 많은 특징을 추출할 수 있도록 한다. 이완된 시작 전략은 초기 투영 벡터를 고정시켜 일반화 성능을 향상시키며, 얼굴 및 걸음걸이 인식 데이터셋에서 기존 방법보다 최대 17.26% 높은 랭크-5 인식률을 달성하여 최신 기술 수준(SOTA)을 확보한다.

ABSTRACT

Principal component analysis (PCA) is an unsupervised method for learning low-dimensional features with orthogonal projections. Multilinear PCA methods extend PCA to deal with multidimensional data (tensors) directly via tensor-to-tensor projection or tensor-to-vector projection (TVP). However, under the TVP setting, it is difficult to develop an effective multilinear PCA method with the orthogonality constraint. This paper tackles this problem by proposing a novel Semi-Orthogonal Multilinear PCA (SO-MPCA) approach. SO-MPCA learns low-dimensional features directly from tensors via TVP by imposing the orthogonality constraint in only one mode. This formulation results in more captured variance and more learned features than full orthogonality. For better generalization, we further introduce a relaxed start (RS) strategy to get SO-MPCA-RS by fixing the starting projection vectors, which increases the bias and reduces the variance of the learning model. Experiments on both face (2D) and gait (3D) data demonstrate that SO-MPCA-RS outperforms other competing algorithms on the whole, and the relaxed start strategy is also effective for other TVP-based PCA methods.

연구 동기 및 목표

• 기존의 텐서-벡터 투영(TVP)-기반 PCA 방법이 낮은 분산 포착 능력과 제한된 특징 추출 능력으로 인해 전체 직교성을 강제할 수 없는 한계를 해결하기 위해.
• 더 많은 분산을 포착하면서도 전체 직교적 접근 방식보다 더 많은 특징을 추출할 수 있도록 하는 새로운 다중선형 PCA 방법을 개발하기 위해.
• 고정된 초기 투영 벡터를 통해 가설 공간을 제약하여 분산을 줄이고 편향을 증가시킴으로써 일반화 능력을 향상시키는 이완된 시작 전략을 도입하기 위해.
• 실세계 2D 및 3D 데이터에 대해 기존의 TVP-기반 PCA 방법과의 비교를 통해 SO-MPCA-RS의 우수성을 경험적으로 검증하기 위해.

제안 방법

• 모든 모드가 아니라 텐서 투영의 한 모드에서만 직교성 제약을 강제하는 반-직교 다중선형 PCA(SO-MPCA)를 제안하여, 전체 직교성보다 더 많은 특징과 더 높은 분산 포착 능력을 확보한다.
• 벡터화 없이 다차원 데이터(텐서)에서 직접 저차원 특징을 학습하기 위해 텐서-벡터 투영(TVP)을 사용한다.
• 초기 투영 벡터를 균일한 벡터로 고정함으로써 이완된 시작(RS) 전략을 도입하여 가설 공간을 제약함으로써 모델 분산을 감소시킨다.
• 반-직교성을 한 모드에서 유지하면서 분산을 최대화하고, RS 전략을 적용하여 일반화 성능을 향상시키기 위해 반복 최적화 프레임워크를 활용한다.
• 얼굴(2D) 및 걸음걸이(3D) 데이터에 적용하여 표준 인식 벤치마크를 사용해 성능를 평가한다.
• 이완된 시작 전략을 TROD 및 UMPCA와 같은 다른 TVP-기반 방법에 확장하여 그 일반적 효과성을 입증한다.

실험 결과

연구 질문

• RQ1 텐서 투영의 한 모드에서만 직교성을 강제하면 전체 직교적 TVP-기반 PCA보다 더 높은 분산 포착 능력과 더 많은 특징 추출 능력을 확보할 수 있는가?
• RQ2 초기 투영 벡터를 고정하는 이완된 시작 전략은 TVP-기반 다중선형 PCA 방법의 일반화 능력을 향상시키는가?
• RQ3 SO-MPCA-RS는 2D 및 3D 텐서 데이터에서 최신 기술 수준의 PCA 기반 방법과 비교해 인식 정확도 측면에서 어떻게 성능을 냈는가?
• RQ4 이완된 시작 전략은 SO-MPCA를 초월해 다른 TVP-기반 PCA 알고리즘에서도 효과적이며 일관되게 성능 향상을 이끌 수 있는가?

주요 결과

• 얼굴 데이터에서 SO-MPCA-RS는 SO-MPCA보다 평균 랭크-1 인식률에서 9.97% 향상되었고, 걸음걸이 데이터에서는 랭크-5 인식률에서 17.26% 향상되었다.
• 얼굴 인식에서 SO-MPCA-RS는 최고의 경쟁 방법인 TROD보다 랭크-1 인식률에서 8.08% 높고, 랭크-5 인식률에서 1.64% 높았다.
• 걸음걸이 인식에서 SO-MPCA-RS는 TROD-RS보다 랭크-1 인식률에서 평균 3.03% 높고, 랭ĸ-5 인식률에서 11.07% 높았다.
• 이완된 시작 전략은 얼굴 인식에서 TROD를 평균 0.32% 향상시키고 UMPCA는 2.15% 향상시켰으며, 걸음걸이 인식에서는 각각 0.94% 및 5.28% 향상되었다.
• SO-MPCA-RS는 UMPCA 및 전체 직교적 방법보다 더 많은 분산을 포착했으며, 고정된 초기화로 인해 첫 번째 EMP는 후속 것들보다 더 적은 분산을 포착했다.
• SO-MPCA-RS는 몇 번의 반복만으로 수렴하여 이완된 시작 프레임워크 하에서 효율적인 최적화를 보였다.