[논문 리뷰] A Self-consistent-field Iteration for Orthogonal Canonical Correlation Analysis

Lei‐Hong Zhang, Li Wang외 2명|arXiv (Cornell University)|2019. 09. 25.

Blind Source Separation Techniques참고 문헌 53인용 수 5

한 줄 요약

이 논문은 정규직교 조건을 갖는 정규직교 캐논컬 컬레레이션 분석(ОCCA)을 위한 자기일致성장 반복(SCF) 방법을 제안한다. 이는 정합성 분수 최적화 구조와 직교 제약 조건을 활용하며, 전역 수렴성을 보장하고 다중 레이블 분류 및 다중 시각 특징 추출 과제에서 기존 방법보다 정확도와 효율성 면에서 뛰어나다.

ABSTRACT

We propose an efficient algorithm for solving orthogonal canonical correlation analysis (OCCA) in the form of trace-fractional structure and orthogonal linear projections. Even though orthogonality has been widely used and proved to be a useful criterion for pattern recognition and feature extraction, existing methods for solving OCCA problem are either numerical unstable by relying on a deflation scheme, or less efficient by directly using generic optimization methods. In this paper, we propose an alternating numerical scheme whose core is the sub-maximization problem in the trace-fractional form with an orthogonal constraint. A customized self-consistent-field (SCF) iteration for this sub-maximization problem is devised. It is proved that the SCF iteration is globally convergent to a KKT point and that the alternating numerical scheme always converges. We further formulate a new trace-fractional maximization problem for orthogonal multiset CCA (OMCCA) and then propose an efficient algorithm with an either Jacobi-style or Gauss-Seidel-style updating scheme based on the same SCF iteration. Extensive experiments are conducted to evaluate the proposed algorithms against existing methods including two real world applications: multi-label classification and multi-view feature extraction. Experimental results show that our methods not only perform competitively to or better than baselines but also are more efficient.

연구 동기 및 목표

• 증강 또는 일반 최적화에 의존하는 기존 OCCA 솔버의 수치적 불안정성과 비효율성 문제를 해결한다.
• OCCA의 트레이스-분수 형태를 활용하는 구조를 고려한 알고리즘을 개발하여 수렴성과 안정성을 보장한다.
• 다중 시각 데이터에서 성능을 향상시키기 위해 탄력적인 가중치 부여 방식을 갖춘 정규직교 다중집합 CCA(OMCCA)로 방법을 확장한다.
• 실제 응용 분야에서 뛰어난 성능을 입증한다. 예를 들어 다중 레이블 분류 및 다중 시각 특징 추출과 같은 작업에서

제안 방법

• 정합성 분수 형태의 하위 최대화 문제를 정규직교 제약 조건 하에서 해결하기 위해 맞춤형 자기일치장(SCF) 반복을 설계한다.
• SCF 반복의 전역 수렴성을 증명하고, 번갈아 가며 시행하는 수치적 방법의 수렴성을 확립한다.
• 유익한 시각 쌍을 우선순위로 하는 top-p 가중치 부여 방식을 도입하여 OMCCA의 새로운 트레이스-분수 최대화 문제를 제안한다.
• 계산 효율성을 향상시키기 위해 SCF 반복 기반의 자코비 스타일 및 가우스-세이델 스타일 업데이트 방식을 구현한다.
• OCCA 및 OMCCA에 대해 SCF 기반 알고리즘을 이원적 번갈아 최적화 프레임워크에 통합한다.
• 학습된 임bedding에 1-NN 분류기를 적용하여 분류 및 특징 추출과 같은 후속 작업에서의 성능을 평가한다.

실험 결과

연구 질문

• RQ1 구조 인식 기반의 반복적 방법이 일반 최적화나 증강 기반 접근 방식보다 OCCA 문제를 보다 우수한 수렴성과 안정성으로 해결할 수 있는가?
• RQ2 다중 시각 학습에서 정규직교 제약 조건을 통합할 경우 다중집합 CCA의 성능 및 강인성에 어떤 영향을 미치는가?
• RQ3 다양한 시각 쌍 가중치 부여 방식(예: top-p, 무작위, 균일)이 OMCCA의 최종 분류 정확도에 미치는 영향은 무엇인가?
• RQ4 제안된 SCF 기반 방법의 계산 효율성은 다양한 데이터 차원과 학습 비율에서 MCCA 및 OMCCA-SS와 비교해 어떻게 되는가?
• RQ5 제안된 방법은 고차원 및 불균형 데이터를 포함한 다양한 실세계 데이터셋에서 일관된 성능 향상을 유지하는가?

주요 결과

• 제안된 OCCA-scf 알고리즘은 전역 수렴성을 확보하고 수치적으로 안정적이며, 누적적 방법에서 발생하는 일반화 고유값 문제의 불안정성을 피한다.
• top-p 가중치 부여 방식을 사용한 RCOMCCA는 다섯 개인 다중 시각 데이터셋 전반에서 MCCA 및 OMCCA-SS를 초월하며, 네 개의 데이터셋에서는 최고의 단일 시각 분류기조차도 뛰어넘는 성능을 보였다.
• RCOMCCA-G(Gauss-Seidel)와 RCOMCCA-J(자코비)는 거의 동일한 성능을 보이며, 업데이트 전략의 선택에 대해 강인함을 입증한다.
• RCOMCCA는 MCCA 및 OMCCA-SS보다 훨씬 효율적이며, 특히 효모 리보솜 데이터셋에서 MCCA는 RCOMCCA보다 10배 이상 더 오래 소요되었다.
• 모든 정규직교 제약 조건을 갖는 방법들(RCOMCCA, OMCCA-SS)은 학습 비율 증가에 따라 일관되게 성능 향상을 보였지만, MCCA는 효모 리보솜 데이터셋에서 성능 향상이 없었다.
• 모든 방법의 성능은 차원 수 $k$ 감소에 따라 향상되었지만, Caltech101-7에서 MCCA와 yeast_ribosomal에서 OMCCA-SS는 작은 $k$ 이후 성능이 악화되었다.