[論文レビュー] Correlated random features for fast semi-supervised learning

Brian McWilliams, David Balduzzi+1 more|arXiv (Cornell University)|Jun 24, 2013

Domain Adaptation and Few-Shot Learning参考文献 20被引用数 25

ひとこと要約

本稿では、2つのランダムなNyström特徴のビューとCanonical Correlation Analysis (CCA) を用いて回帰および分類性能を向上させる、高速な半教師あり学習アルゴリズムである相関Nyströmビュー（XNV）を提案する。XNVは中規模データセットにおいて、既存の最先端手法SSSLと比較して10-15%高い精度を達成するとともに、実行時間を1,000倍以上短縮し、優れた性能とスケーラビリティを示している。

ABSTRACT

This paper presents Correlated Nystrom Views (XNV), a fast semi-supervised algorithm for regression and classification. The algorithm draws on two main ideas. First, it generates two views consisting of computationally inexpensive random features. Second, XNV applies multiview regression using Canonical Correlation Analysis (CCA) on unlabeled data to bias the regression towards useful features. It has been shown that, if the views contains accurate estimators, CCA regression can substantially reduce variance with a minimal increase in bias. Random views are justified by recent theoretical and empirical work showing that regression with random features closely approximates kernel regression, implying that random views can be expected to contain accurate estimators. We show that XNV consistently outperforms a state-of-the-art algorithm for semi-supervised learning: substantially improving predictive performance and reducing the variability of performance on a wide variety of real-world datasets, whilst also reducing runtime by orders of magnitude.

研究の動機と目的

• 大規模データセットにおけるカーネル法の高い計算コストを、計算効率の良い特徴の近似を用いることで軽減すること。
• 多視点回帰を用いてラベルなしデータの構造を活用することで、半教師あり学習の性能を向上させること。
• 従来の手法と比較して、著しく短い訓練時間で高い精度を維持するスケーラブルなアルゴリズムの開発。
• Nyström法によって構築されたランダムなビューが、CCAに基づく正則化に適していることを実証的に検証すること。

提案手法

• カーネル法の計算的に効率的で、理論的にも正確な近似としてのNyströmランダム特徴を用いて、データの2つの独立したビューを構築する。
• 2つのビューに対してCanonical Correlation Analysis (CCA) を適用し、両ビュー間で強く相関する特徴を特定・優先することで、最終モデルの分散を低減する。
• 正則化にコアリネーション相関ノルムを用い、両ビューで予測に寄与する特徴を優遇することで、より頑健なモデルを実現する。
• 計算効率を確保しつつ、強い実証的性能を維持するため、Nyström近似に一様抽出を採用する。
• ラベル付きデータとCCA正則化回帰を統合し、最小限のラベル付きデータで一般化性能の高い最終予測器を生成する。
• スケーラビリティを向上させるために、ランダム化CCAを採用し、大規模データセットを効率的に処理できる。

実験結果

リサーチクエスチョン

• RQ1 ランダムなNyström特徴は、半教師あり学習の多視点学習フレームワークにおいて、効果的で計算コストが低いビューとして適しているか？
• RQ2 このような2つのランダムなビューに対してCCAベースの正則化を施すことで、モデルの分散が著しく低減され、一般化性能が向上するか？
• RQ3 実世界のデータセットにおいて、XNVは最先端のSSSLアルゴリズムと比較して、性能と速度の両面で優れているか？
• RQ4 多視点設定におけるランダム特徴の使用が、CCAが分散を低減するための理論的条件を満たしており、バイアスを増加させないか？

主な発見

• XNVは、18個の実世界データセットにおいて、ラベル付きサンプル数に応じて平均10-15%高い予測性能を示し、SSSLを上回る。
• XNVは、性能の標準誤差を平均で約30%低減しており、SSSLと比較してはるかに安定した、変動の少ない予測を示している。
• N=10,000のデータセットにおいて、XNVは元のSSSLアルゴリズムと比較して実行時間を1,000倍以上短縮し、データセットサイズが増加するにつれてさらなる高速化が得られる。
• Nyströmベースのビューは、常にランダムフーリエ特徴よりも優れており、さまざまなラベル付きデータセットサイズにおいて平均で24-30%の誤差低減を達成する。
• 高次元およびノイズの多いデータセットを含む多様な回帰および分類タスクにおいて、性能向上が一貫して得られる。
• 非常に少ないラベル付き例での性能維持が可能であり、低ラベル環境下でも頑健であることが示された。