[論文レビュー] Learning with Group Invariant Features: A Kernel Perspective

Youssef Mroueh, Stephen Voinea+1 more|arXiv (Cornell University)|Jun 8, 2015

Neural Networks and Applications参考文献 24被引用数 10

ひとこと要約

本稿では、群作用による乱投影の累積分布関数を用いたランダム特徴マップを提案し、ハール積分を介して群不変カーネルを近似することを示している。この手法は、群不変カーネルへの一様収束を達成し、再生ヒルベルト空間における密な関数空間近似を可能にし、教師あり学習における標本複雑度を低減する。実験的性能は正確な不変カーネルに近い水準に達する。

ABSTRACT

We analyze in this paper a random feature map based on a theory of invariance I-theory introduced recently. More specifically, a group invariant signal signature is obtained through cumulative distributions of group transformed random projections. Our analysis bridges invariant feature learning with kernel methods, as we show that this feature map defines an expected Haar integration kernel that is invariant to the specified group action. We show how this non-linear random feature map approximates this group invariant kernel uniformly on a set of $N$ points. Moreover, we show that it defines a function space that is dense in the equivalent Invariant Reproducing Kernel Hilbert Space. Finally, we quantify error rates of the convergence of the empirical risk minimization, as well as the reduction in the sample complexity of a learning algorithm using such an invariant representation for signal classification, in a classical supervised learning setting.

研究の動機と目的

• 不変表現学習の教師なし手法と教師ありカーネル手法を統合するために、群不変カーネルを近似するランダム特徴マップを構築すること。
• 提案されたランダム特徴マップが、有限個の点の集合上で期待されるハール積分カーネルを一様に近似することを示すこと。
• 特徴マップが、対応する不変再生ヒルベルト空間（RKHS）において関数空間を稠密に張ることを証明すること。
• 不変表現を用いる場合の、経験的リスク最小化の標本複雑度と収束速度の低減を定量化すること。
• 順列不変な系列分類および音声数字認識タスクにおいて、手法の実証的妥当性を検証すること。

提案手法

• 群作用下での乱投影の累積分布関数（CDF）を用いて、群不変信号シグネチャを構築する。
• 各特徴が群変換を施した投影から導かれるメモリベースの不変性理論に基づくランダム特徴マップを定義する。
• ランダム特徴マップが誘導するカーネルが、指定された群作用に対して不変である期待ハール積分カーネルと等価であることを示す。
• 理論的分析により、ランダム特徴マップが有限個のN点の集合上で真の不変カーネルに一様収束することを証明する。
• 得られる関数空間が不変RKHSにおいて稠密であることを確立し、表現力の確保を図る。
• 実験的評価では、順列不変な系列およびTIDIGITS音声データセットを用い、RLSおよびSVM分類器を用いてベースラインおよび正確な不変カーネルと性能を比較する。

実験結果

リサーチクエスチョン

• RQ1 群作用を施した乱投影に基づくランダム特徴マップは、ハール積分を用いて定義された群不変カーネルを、有限点集合上で一様に近似できるか？
• RQ2 このランダム特徴マップは、対応する不変再生ヒルベルト空間において関数空間を稠密に張るか？
• RQ3 このような不変特徴を用いることで、教師あり設定における学習アルゴリズムの標本複雑度にどのような影響を与えるか？
• RQ4 不変ランダム特徴表現を用いた場合の経験的リスク最小化の収束速度はどの程度か？
• RQ5 実際の応用において、ランダム特徴マップは正確な不変カーネルの性能にどの程度近づけるか？

主な発見

• ランダム特徴マップは、任意の有限個のN点の集合上で、群不変ハール積分カーネルを一様に近似する。収束は大数の法則により保証される。
• 特徴マップは、対応する不変再生ヒルベルト空間において関数空間を稠密に張り、普遍近似能力を保証する。
• 教師あり学習において標本複雑度が低減される。不変表現により、データオーグメンテーションを必要とせず、対称性を捉えることができる。
• 実験的結果では、十分なテンプレート数とビン数を用いることで、ランダム特徴マップは順列不変な系列分類において、元の特徴量やBag-of-Wordsベースラインを上回る性能を示す。
• テンプレート数とビン数を増やすことで、性能は正確なハール不変カーネルに近づく。群要素のサンプリング数が少ない場合でも、滑らかに性能が低下する。
• TIDIGITSデータセットでは、年齢の不一致（例：大人から子供の話者）に対しても性能が安定するが、男性話者から子供話者への変換では、周波数の違いにより女性話者から子供話者への変換よりも性能が低くなる。