[論文レビュー] Score Function Features for Discriminative Learning: Matrix and Tensor Framework

Majid Janzamin, Hanie Sedghi+1 more|arXiv (Cornell University)|Dec 9, 2014

Tensor decomposition and applications参考文献 61被引用数 29

ひとこと要約

本論文は、教師なしデータから導出された行列およびテンソル値スコア関数特徴を用いた判別的学習のための新規フレームワークを提案する。高次スコア関数とスペクトル分解を活用することで、ラベル関数の導関数に相当する判別的情報を抽出でき、局所最適解の問題を回避する理論的裏付けに基づいた効率的特徴抽出を可能にする。

ABSTRACT

Feature learning forms the cornerstone for tackling challenging learning problems in domains such as speech, computer vision and natural language processing. In this paper, we consider a novel class of matrix and tensor-valued features, which can be pre-trained using unlabeled samples. We present efficient algorithms for extracting discriminative information, given these pre-trained features and labeled samples for any related task. Our class of features are based on higher-order score functions, which capture local variations in the probability density function of the input. We establish a theoretical framework to characterize the nature of discriminative information that can be extracted from score-function features, when used in conjunction with labeled samples. We employ efficient spectral decomposition algorithms (on matrices and tensors) for extracting discriminative components. The advantage of employing tensor-valued features is that we can extract richer discriminative information in the form of an overcomplete representations. Thus, we present a novel framework for employing generative models of the input for discriminative learning.

研究の動機と目的

• 教師なしデータを活用して、下流タスクに適した判別的特徴を抽出する汎用的な特徴学習フレームワークの開発。
• 入力確率密度の高次スコア関数が捉える判別的情報の特徴化。
• スコア関数特徴の表現力と有用性に関する理論的保証の提供。
• 行列およびテンソルにおけるスペクトル分解を用いた、効率的でスケーラブルかつグローバルに最適な特徴抽出の実現。
• 行列ベースの手法と比較して、テンソル値特徴が過剰に表現力豊かで洗練された表現を捉える優位性の実証。

提案手法

• 本手法は、入力確率密度関数（pdf）の高次導関数として知られるスコア関数に基づいて、行列およびテンソル値特徴を構築する。
• ラベルと入力スコア特徴の間のクロスモーメントを形成することで、判別的成分を抽出するモーメント法を採用する。
• 理論的分析により、これらのクロスモーメントが、入力またはモデルパラメータに関してラベル関数の期待値導関数に一致することが示される。
• スペクトル分解アルゴリズム（特にテンソル分解）を用いて、モーメントテンソルから低ランクで情報豊富な成分を抽出する。
• スティーンの恒等式と再帰的スコア関数恒等式を活用し、高次スコア関数の閉形式表現を導出する。
• ディープラーニングにおける非凸最適化とは異なり、テンソル分解により、弱い条件下でも証明可能な収束性を有するため、局所最適解を回避できる。

実験結果

リサーチクエスチョン

• RQ1 教師なしデータから導出された高次スコア関数特徴から、どのような判別的情報を抽出できるか？
• RQ2 スコア関数とラベルから導出されるモーメントテンソルのスペクトル分解は、分類タスクに最適な表現をどのように得るか？
• RQ3 テンソル値スコア特徴は、行列値特徴と比較して、判別的構造をどのようにより優れた形で捉えられるか？
• RQ4 事前学習段階でラベルデータを必要とせずに、抽出された特徴の品質に関する理論的保証を提供できるか？
• RQ5 スコア関数特徴とラベル関数の導関数の間には、明確な関係があるか？

主な発見

• ラベルとスコア関数特徴のクロスモーメントは、数学的に入力またはモデルパラメータに関してラベル関数の期待値導関数に等しい。
• 高次スコア関数（行列およびテンソル）は、一次特徴よりも入力pdfのより豊かな局所多様体構造を捉える。
• テンソルベースの手法により、過剰に表現力豊かな表現が可能になり、より洗練された特徴学習が実現できる。
• モーメントテンソルのスペクトル分解により、局所最適解の問題を回避し、グローバルに最適で効率的な判別的成分抽出が可能となる。
• スティーンの恒等式と再帰的スコア関数恒等式を用いた理論的裏付けにより、正しさと解釈可能性が保証される。
• 弱い正則性条件のもとで、性能に関する証明可能な保証が得られ、ラベルデータが限られた実世界の応用に適している。