[論文レビュー] Learning Unsupervised Learning Rules

Luke Metz, Niru Maheswaranathan+2 more|arXiv (Cornell University)|Mar 31, 2018

Domain Adaptation and Few-Shot Learning参考文献 40被引用数 40

ひとこと要約

本論文は、下流の半教師あり分類性能を直接最適化する、生物学的に妥当な局所的ニューロン更新ルールである非教師あり学習ルールをメタラーニングする手法を提案する。この手法は、アーキテクチャ、データモダリティ（画像からテキスト）および入力の順序変更のあらゆる面で一般化でき、標準的な非教師あり事前学習手法を上回ることが多い。

ABSTRACT

A major goal of unsupervised learning is to discover data representations that are useful for subsequent tasks, without access to supervised labels during training. Typically, this goal is approached by minimizing a surrogate objective, such as the negative log likelihood of a generative model, with the hope that representations useful for subsequent tasks will arise as a side effect. In this work, we propose instead to directly target a later desired task by meta-learning an unsupervised learning rule, which leads to representations useful for that task. Here, our desired task (meta-objective) is the performance of the representation on semi-supervised classification, and we meta-learn an algorithm -- an unsupervised weight update rule -- that produces representations that perform well under this meta-objective. Additionally, we constrain our unsupervised update rule to a be a biologically-motivated, neuron-local function, which enables it to generalize to novel neural network architectures. We show that the meta-learned update rule produces useful features and sometimes outperforms existing unsupervised learning techniques. We show that the meta-learned unsupervised update rule generalizes to train networks with different widths, depths, and nonlinearities. It also generalizes to train on data with randomly permuted input dimensions and even generalizes from image datasets to a text task.

研究の動機と目的

• 下流の半教師あり分類性能を直接最適化するため、間接的な目的関数に依存するのではなく、非教師あり表現を直接最適化すること。
• 幅、深さ、非線形性が異なるさまざまなニューラルネットワークアーキテクチャに一般化可能な非教師あり学習ルールを開発すること。
• 更新ルールをニューロン局所的であるように制約することで生物学的妥当性を確保し、新規アーキテクチャへの一般化を可能にすること。
• 画像データを超えて、テキストタスクや入力次元の並び替えにまで一般化を評価すること。

提案手法

• 下流の半教師あり分類タスクにおける表現の精度に基づくメタ目的関数を用いて、非教師あり重み更新ルールをメタラーニングする。
• 局所的な前シナプスおよび後シナプス活動にのみ依存する微分可能でニューロン局所的な関数として更新ルールを定式化し、生物学的学習ルールを模倣する。
• 各タスクは、ルールでネットワークを事前学習し、下流の半教師あり分類タスクで評価するという形で、タスクの分布上で勾配降下法により更新ルールを訓練する。
• 二段階最適化フレームワークを用いる：内側のループでメタ学習されたルールでネットワークを学習し、外側のループで下流の性能に基づいてルールパラメータを更新する。
• 幅、深さ、活性化関数が異なるネットワークにメタ学習されたルールを適用し、ゼロショット一般化を評価する。
• 入力次元がランダムに並び替えられたデータおよびトランスフォーマー基盤のエンコーダーを用いたテキスト分類タスクに対して、一般化をテストする。

実験結果

リサーチクエスチョン

• RQ1 メタ学習された非教師あり更新ルールは、標準的な非教師あり事前学習手法を下流の半教師あり分類タスクで上回ることができるか？
• RQ2 メタ学習されたルールは、幅、深さ、非線形性が異なるニューラルネットワークに一般化できるか？
• RQ3 入力次元が並び替えられたデータに対してもルールは一般化できるか？これは入力の再順序付けに対する耐性を示唆する。
• RQ4 画像データで学習したルールが、テキスト分類など異なるモダリティにまで転送可能か？
• RQ5 学習されたルールは生物学的に妥当で、グローバル勾配やラベルが事前学習中に利用不可なニューロン局所的非グローバル更新スキームでも効果的か？

主な発見

• メタ学習された非教師あり更新ルールは、標準的な非教師あり事前学習ベースラインと比較して、下流の半教師あり分類タスクで競争的または優れた性能を達成する表現を生成する。
• ルールは幅、深さ、非線形性が異なるニューラルネットワークに効果的に一般化され、アーキテクチャをまたいで強いゼロショット転送性を示す。
• 入力次元がランダムに並び替えられてもルールの性能が維持され、入力の再順序付けに対する耐性と、特定のデータ構造を超えた一般化を示している。
• 画像データからテキスト分類タスクへの一般化が可能であり、テキストでファインチューニングを行わずとも、モダリティをまたいで転送性を示している。
• 生物学的動機付けに基づくニューロン局所的更新ルールは、グローバル勾配やラベルが事前学習中に利用不可であっても、標準的な非教師あり手法と同等またはそれ以上の性能を達成する。