[論文レビュー] Provable benefits of representation learning

Sanjeev Arora, Andrej Risteski|arXiv (Cornell University)|Jun 14, 2017

Bayesian Methods and Mixture Models参考文献 9被引用数 7

ひとこと要約

本稿は表現学習を確率的逆問題として形式化し、データを意味的類似性を保持する潜在空間に写像する表現関数を提示する。線形混合モデルおよび対数線形モデルにおいて、近傍法や多様体手法に比べ、表現学習がより高い効率性を示す半教師あり学習および分類を可能にすることを証明し、妥当な仮定のもとでデータ要件を顕著に削減する。

ABSTRACT

There is general consensus that learning representations is useful for a variety of reasons, e.g. efficient use of labeled data (semi-supervised learning), transfer learning and understanding hidden structure of data. Popular techniques for representation learning include clustering, manifold learning, kernel-learning, autoencoders, Boltzmann machines, etc. To study the relative merits of these techniques, it's essential to formalize the definition and goals of representation learning, so that they are all become instances of the same definition. This paper introduces such a formal framework that also formalizes the utility of learning the representation. It is related to previous Bayesian notions, but with some new twists. We show the usefulness of our framework by exhibiting simple and natural settings -- linear mixture models and loglinear models, where the power of representation learning can be formally shown. In these examples, representation learning can be performed provably and efficiently under plausible assumptions (despite being NP-hard), and furthermore: (i) it greatly reduces the need for labeled data (semi-supervised learning) and (ii) it allows solving classification tasks when simpler approaches like nearest neighbors require too much data (iii) it is more powerful than manifold learning methods.

研究の動機と目的

• 自己符号化器、クラスタリング、深層ネットワークなどの多様な手法を統一的に捉える表現学習のフレームワークを形式化すること。
• 表現学習の有用性を、より効率的な分類および半教師あり学習を可能にするという観点から定式化すること。
• 構造的モデルにおいて、近傍法や多様体学習といった単純なベースラインに比べ、表現学習に証明可能な利点があることを示すこと。
• 妥当な仮定の下で、線形混合モデルおよび対数線形モデルにおける表現学習の理論的保証を確立すること。

提案手法

• データ点が潜在表現を経由して決定的関数とランダムノイズを用いて生成される生成モデルを提案：$x = g(h, r)$。
• 真の表現$h$を高確率で近似的に回復できる関数$f: \mathcal{X} \to \mathcal{H}$を有効なエンコーダとして定義する。
• 確率的枠組みを用いて表現の有用性を形式化し、表現の質と下流の分類性能の関連を結びつける。
• レーデマッハ複雑度および一般化誤差の境界を用いて、表現空間で訓練された線形分類器の一般化誤差を分析する。
• チェルノフ不等式および集中不等式を用いて、表現誤差が閾値を超える点の割合を分析する。
• 表現空間における一般化性能と入力空間における一般化性能を比較し、より高い標本効率を示す。

実験結果

リサーチクエスチョン

• RQ1 自己符号化器やクラスタリングなどの多様な手法を統一的に捉える形で、表現学習を形式的に定義できるか？
• RQ2 表現学習はどのような設定で、教師あり学習の標本複雑度を証明的に低減できるか？
• RQ3 表現学習は、近傍法や多様体学習手法に比べ、どの程度データ効率が優れているか？
• RQ4 近傍法が限られたラベル付きデータでは失敗する分類タスクを、表現学習が解けるか？
• RQ5 入力空間における局所的メトリクス構造に依存する手法に比べ、表現学習が持つ理論的優位性は何か？

主な発見

• 線形混合モデルにおいて、表現学習によりラベル付きデータの必要量が削減され、未ラベルデータを用いた効率的な半教師あり学習が可能になる。
• 近傍法に比べ、表現学習によりはるかに少ないラベル付き例で分類が可能となり、同程度の精度に到達するには近傍法がはるかに多くのデータを要する。
• 本フレームワークにより、表現学習と、近傍情報のみに依存する多様体学習手法との間で、標本複雑度の明確な分離が証明された。
• バランスの取れた線形予測子に対して、ジャンルの知識を持たない完全に教師ありの設定では、任意のアルゴリズムが最悪でもランダム推測の性能にしか達しないことが示され、誤差は$O(stT^2/k)$で有界である。
• 有効なエンコーダがある場合、表現空間における一般化誤差は$\lesssim C(w,S) + R_t(\mathcal{F}) + \sqrt{\ln(1/\delta)/t}$で有界であり、ここで$C(w,S)$は経験的ハッチ損失、$R_t(\mathcal{F})$はレーデマッハ複雑度である。
• 本稿は、表現学習が局所的メトリクスに基づく手法よりも優れていることを確立しており、近傍関係を超えたグローバル構造を捉える能力があるためである。