[論文レビュー] Gradients as Features for Deep Representation Learning

Fangzhou Mu, Yingyu Liang+1 more|arXiv (Cornell University)|Apr 12, 2020

Domain Adaptation and Few-Shot Learning参考文献 45被引用数 11

ひとこと要約

本論文は、タスク固有の損失関数に対するモデルパラメータの各サンプルごとの勾配を特徴量として用いる、新たな深層表現学習手法を提案する。この手法は、線形モデルを用いてネットワークの活性化出力と勾配特徴量を統合し、Neural Tangent Kernel (NTK) 理論に基づく微調整の局所線形近似を提供する。本手法は、教師あり学習、自己教師あり学習、転移学習の各タスクで最先端の性能を達成しており、活性化出力のみを用いるベースラインや完全な微調整よりも、重要な設定で優れた性能を示す。

ABSTRACT

We address the challenging problem of deep representation learning--the efficient adaption of a pre-trained deep network to different tasks. Specifically, we propose to explore gradient-based features. These features are gradients of the model parameters with respect to a task-specific loss given an input sample. Our key innovation is the design of a linear model that incorporates both gradient and activation of the pre-trained network. We show that our model provides a local linear approximation to an underlying deep model, and discuss important theoretical insights. Moreover, we present an efficient algorithm for the training and inference of our model without computing the actual gradient. Our method is evaluated across a number of representation-learning tasks on several datasets and using different network architectures. Strong results are obtained in all settings, and are well-aligned with our theoretical insights.

研究の動機と目的

• 事前学習済みネットワークから得られるタスク固有の勾配情報を活用することで、深層表現学習におけるデータ効率を向上させること。
• 表現学習と完全な教師あり学習の間の性能ギャップを埋めるために、勾配特徴量を特徴表現に組み込むこと。
• 勾配を明示的に計算せずに、トレーニングと推論が効率的かつスケーラブルに行えるアルゴリズムの開発。
• Neural Tangent Kernel (NTK) 理論を用いて、本手法が微調整の局所線形近似として理論的に裏付けられることの正当化。
• 多様なタスク、データセット、ネットワークアーキテクチャを対象として、本手法の実験的妥当性の検証。

提案手法

• 本手法は、事前学習済みの深層ネットワークから得られる活性化特徴量と勾配特徴量を併用する線形モデルを構築する。
• 勾配特徴量は、各入力サンプルに対してタスク固有の損失関数に対するモデルパラメータの勾配として定義される。
• 有限幅のネットワークに対するNeural Tangent Kernel (NTK) 理論に基づき、微調整の局所線形近似として理論的に裏付けられる。
• バックプロパゲーションを用いた暗黙的な勾配計算を活用し、勾配を明示的に計算せずにトレーニングと推論が可能な効率的なアルゴリズムを設計する。
• 本フレームワークは一般性を有し、視覚、自然言語処理、音声処理の各タスクに適用可能であり、評価は主に視覚表現学習に焦点を当てる。
• 活性化特徴量と勾配特徴量を1つの線形分類器に統合することで、活性化出力のみを用いるベースラインよりも優れた識別性能を実現する。

実験結果

リサーチクエスチョン

• RQ1 事前学習済みネットワークの各サンプルごとの勾配は、下流タスクに有効で、判別力のある特徴量として機能するか？
• RQ2 活性化特徴量と勾配特徴量を組み合わせることで、単独で用いる場合と比較して性能がどのように向上するか？
• RQ3 本手法は、完全な微調整の性能をどの程度近似できるか？
• RQ4 異なる事前学習パラダイム（教師なし学習、自己教師あり学習、転移学習）において、本手法の性能はどのように変化するか？
• RQ5 勾配を明示的に計算せずに、スケーラビリティを維持したまま、競争力のある結果を達成できるか？

主な発見

• 提案手法は、評価されたすべてのタスクとデータセットで、標準的な活性化ベースのロジスティック回帰ベースラインを大きく上回る性能を示した。
• ジャイガプレシートタスクを用いたCIFAR-10データセットでは、70.5%の精度を達成し、ベースラインを上回り、優れた一般化性能を示した。
• VOC07およびCOCO2014における転移学習の設定では、それぞれ+0.8%および+3.0%の向上を示し、意味的に整合したタスクにおいて優れた性能を発揮した。
• 勾配のみの線形分類器も競争力があり、無作為な設定では、活性化と勾配の両方を用いた完全なモデルをしばしば同等または上回る性能を示した。
• ResNet や BiGAN エンコーダーを含む多様なネットワークアーキテクチャにおいても、本手法は強い性能を維持し、広範な適用可能性を示した。
• 実験結果は理論的洞察とよく一致しており、本モデルがNTK理論に基づき、微調整の局所線形近似として機能することが確認された。