[論文レビュー] A Self-consistent-field Iteration for Orthogonal Canonical Correlation Analysis

Lei‐Hong Zhang, Li Wang+2 more|arXiv (Cornell University)|Sep 25, 2019

Blind Source Separation Techniques参考文献 53被引用数 5

ひとこと要約

本稿では、直交制約を伴うトレース分数最適化構造を活用した、直交 canonical correlation analysis (OCCA) の自己無撞着場（SCF）反復法を提案する。このアルゴリズムは、全空間収束を保証し、多ラベル分類および多視点特徴抽出のタスクにおいて、既存手法を上回る精度と効率性を実現する。

ABSTRACT

We propose an efficient algorithm for solving orthogonal canonical correlation analysis (OCCA) in the form of trace-fractional structure and orthogonal linear projections. Even though orthogonality has been widely used and proved to be a useful criterion for pattern recognition and feature extraction, existing methods for solving OCCA problem are either numerical unstable by relying on a deflation scheme, or less efficient by directly using generic optimization methods. In this paper, we propose an alternating numerical scheme whose core is the sub-maximization problem in the trace-fractional form with an orthogonal constraint. A customized self-consistent-field (SCF) iteration for this sub-maximization problem is devised. It is proved that the SCF iteration is globally convergent to a KKT point and that the alternating numerical scheme always converges. We further formulate a new trace-fractional maximization problem for orthogonal multiset CCA (OMCCA) and then propose an efficient algorithm with an either Jacobi-style or Gauss-Seidel-style updating scheme based on the same SCF iteration. Extensive experiments are conducted to evaluate the proposed algorithms against existing methods including two real world applications: multi-label classification and multi-view feature extraction. Experimental results show that our methods not only perform competitively to or better than baselines but also are more efficient.

研究の動機と目的

• 不連続なデフラクション法や一般最適化に依存する既存の OCCA ソルバーの数値的不安定性と非効率性を解消する。
• OCCA のトレース分数形の構造を活かした、収束性と安定性を保証する構造に特化したアルゴリズムを開発する。
• 多視点データにおける性能向上を図るため、柔軟な重み付け方式を備えた直交マルチセット CCA (OMCCA) にこの手法を拡張する。
• 多ラベル分類や多視点特徴抽出といった実世界の応用において、優れた性能を示すことを実証する。

提案手法

• 直交制約下でのトレース分数形の部分最大化問題を解くために、カスタマイズされた自己無撞着場（SCF）反復を設計する。
• SCF 反復が KKT 点へ全空間収束することを証明し、交互数値スキームの収束性を確立する。
• 情報量の多い視点ペairを優先するため、トップ-p 重み付け方式を用いた OMCCA の新しいトレース分数最大化問題を定式化する。
• 計算効率の向上を図るため、SCF 反復に基づくジャコビ型およびガウス・ザイデル型の更新スキームを実装する。
• OCCA および OMCCA における SCF ベースのアルゴリズムを、2段階の交互最適化フレームワークに統合する。
• 分類や特徴抽出といった下流タスクの評価に、学習済み埋め込みに 1-NN 分類器を適用する。

実験結果

リサーチクエスチョン

• RQ1 構造に配慮した反復的手法は、一般最適化やデフラクションに基づく手法を上回り、収束性と安定性を保証しながら OCCA を解くことができるか？
• RQ2 多視点学習におけるマルチセット CCA の性能と頑健性に、直交制約を組み込むことでどのような影響が生じるか？
• RQ3 異なる視点ペア重み付け方式（例：トップ-p、ランダム、一様）が、OMCCA における最終分類精度に与える影響は何か？
• RQ4 提案手法の SCF ベースの計算効率は、MCCA や OMCCA-SS と比較して、データ次元数や学習比率が変化する条件下でも優れているか？
• RQ5 提案手法は、高次元および不均衡なデータを含む多様な実世界データセットにおいて、一貫した性能向上を示すか？

主な発見

• 提案された OCCA-scf アルゴリズムは全空間収束を達成し、数値的に安定しており、段階的スキームにおける一般化固有値問題の不安定性を回避する。
• トップ-p 重み付け方式を用いた RCOMCCA は、5つの多視点データセットすべてで MCCA や OMCCA-SS を上回り、4つのデータセットでは最良の単一視点分類器をも凌駆する。
• RCOMCCA-G（ガウス・ザイデル）と RCOMCCA-J（ジャコビ）はほぼ同一の性能を示し、更新戦略の選択にかかわらず頑健であることが示された。
• RCOMCCA は MCCA や OMCCA-SS よりも顕著に効率的であり、yeast_ribosomal データセットでは MCCA が RCOMCCA よりも10倍以上長時間かかっている。
• すべての直交制約付き手法（RCOMCCA、OMCCA-SS）は、学習比率が増加するにつれて一貫した性能向上を示すが、MCCA は yeast_ribosomal では向上しない。
• すべての手法の性能は次元削減 $k$ が小さくなるにつれて向上するが、Caltech101-7 における MCCA や yeast_ribosomal における OMCCA-SS は、小さな $k$ を超えると性能が低下する。