[論文レビュー] A Reconstruction Error Formulation for Semi-Supervised Multi-task and Multi-view Learning

Buyue Qian, Xiang Wang+1 more|arXiv (Cornell University)|Feb 4, 2012

Sparse and Compressive Sensing Techniques参考文献 37被引用数 4

ひとこと要約

本稿では、次元削減とラベル伝播を統合的に実行する再構成誤差に基づくフレームワーク、SSDR-MMLを提案する。ラベル伝播をスパースで学習可能な重み／近傍行列としてモデル化し、交互最小化により最適化することで、複数の視点とタスクを有する高次元で部分的にラベル付けされたデータにおいて、クラスタリングおよび分類精度を向上させ、最先端のベースラインを上回る低誤差と低分散を達成する。

ABSTRACT

A significant challenge to make learning techniques more suitable for general purpose use is to move beyond i) complete supervision, ii) low dimensional data, iii) a single task and single view per instance. Solving these challenges allows working with "Big Data" problems that are typically high dimensional with multiple (but possibly incomplete) labelings and views. While other work has addressed each of these problems separately, in this paper we show how to address them together, namely semi-supervised dimension reduction for multi-task and multi-view learning (SSDR-MML), which performs optimization for dimension reduction and label inference in semi-supervised setting. The proposed framework is designed to handle both multi-task and multi-view learning settings, and can be easily adapted to many useful applications. Information obtained from all tasks and views is combined via reconstruction errors in a linear fashion that can be efficiently solved using an alternating optimization scheme. Our formulation has a number of advantages. We explicitly model the information combining mechanism as a data structure (a weight/nearest-neighbor matrix) which allows investigating fundamental questions in multi-task and multi-view learning. We address one such question by presenting a general measure to quantify the success of simultaneous learning of multiple tasks or from multiple views. We show that our SSDR-MML approach can outperform many state-of-the-art baseline methods and demonstrate the effectiveness of connecting dimension reduction and learning.

研究の動機と目的

• 半教師あり学習、多タスク学習、マルチビュー学習を個別に扱う従来手法の限界を解決すること。
• 半教師あり、多タスク、マルチビュー設定において、同時に次元削減とラベル推論を実行する統一フレームワークの開発。
• 学習可能なデータ構造（重み／最近傍行列）を通じて、タスクおよびビュー間の知識統合を明示的にモデル化すること。
• ラベル伝播グラフの構造的性質を分析することにより、多タスクおよびマルチビュー学習の成功を定量的測定可能にする。
• 共訓練の条件付き独立性や単一分類器の十分性といった制約を克服し、非逐次的に両ビューから同時に学習すること。

提案手法

• タスクおよびビュー間のデータポイント間の関係を符号するスパースなグラフ上での再構成誤差最小化として学習問題を定式化する。
• 次元削減のための射影ベクトルとラベル伝播のための欠損ラベルを同時に最適化するための交互最適化スキームを用いる。
• ラベルの伝播および統合がどのように行われるかを明示的にモデル化する重み／最近傍行列を構築する。
• モアレ＝ヨシダ正則化とブロックl1ノルム最適化を適用し、スパarsityを確保するとともに、勾配ベース最適化を効率化する。
• 次元削減とラベル推論を1つの目的関数に統合し、両成分を同時に最適化可能にする。
• 複数のビューを非線形に統合するために、グラフラプラシアンの逆行列を活用し、従来のマルチカーネル手法の線形結合の制限を回避する。

実験結果

リサーチクエスチョン

• RQ1 統一フレームワークは、半教師あり、多タスク、マルチビュー学習設定において、次元削減とラベル伝播を同時に最適化できるか？
• RQ2 複数のタスクおよびビュー間での知識統合のメカニズムを明示的にモデル化し、解釈可能にする方法は何か？
• RQ3 提案手法は、部分的にラベル付けされた高次元データにおいて、精度およびロバストネスの観点で、従来の最先端手法を上回るか？
• RQ4 学習されたラベル伝播グラフの構造的性質を用いて、多タスクおよびマルチビュー学習の成功を定量的に測定できるか？
• RQ5 このフレームワークは、条件付き独立性や単一ビューでの分類器の十分性といった強い仮定への依存度をどの程度低減できるか？

主な発見

• SSDR-MMLフレームワークは、部分的にラベル付けされた高次元マルチビュー多タスクデータを有する実世界のデータセットにおいて、ベースラインモデルと比較して低い誤差率と標準偏差を達成する。
• 反復的最適化プロセスにより、単調な改善が生じる：同じ人物または属性の画像が低次元空間に徐々に集約され、相違する画像同士は分離する。
• 欠損ラベルを同時に補完し、低次元表現を学習することで、30％のラベル付きデータでもPCAやPCA+LDAを上回る性能を達成する。
• 明示的なグラフ構造により、ドメインエキスパートがラベル伝播の経路やビュー間の補完的性を追跡・解釈可能になる。
• 共訓練の条件付き独立性仮定や個々のビューにおける弱い分類器の存在を必要としないため、より広範な適用性を有する。
• 再構成誤差の定式化により、ラベル伝播グラフの性質に基づいた一般化可能で解釈可能な学習成功の測定指標が得られる。