[論文レビュー] Meta Dropout: Learning to Perturb Features for Generalization

Haebeom Lee, Taewook Nam+2 more|arXiv (Cornell University)|May 30, 2019

Domain Adaptation and Few-Shot Learning参考文献 48被引用数 4

ひとこと要約

本稿では、メタラーニングに基づく正則化手法であるMeta-Dropoutを提案する。この手法は、入力に依存するノイズ生成器を訓練し、学習中に潜在特徴を摂動させることで少サンプル学習における一般化性能を向上させる。入力コンテキストに基づいて特徴を適応的に摂動させることで、OmniglotおよびminiImageNetベンチマークにおいて、マニフォールドミックスアップや情報ドロップアウトといった既存手法を著しく上回る性能を達成する。

ABSTRACT

A machine learning model that generalizes well should obtain low errors on unseen test examples. Thus, if we know how to optimally perturb training examples to account for test examples, we may achieve better generalization performance. However, obtaining such perturbation is not possible in standard machine learning frameworks as the distribution of the test data is unknown. To tackle this challenge, we propose a novel regularization method, meta-dropout, which learns to perturb the latent features of training examples for generalization in a meta-learning framework. Specifically, we meta-learn a noise generator which outputs a multiplicative noise distribution for latent features, to obtain low errors on the test instances in an input-dependent manner. Then, the learned noise generator can perturb the training examples of unseen tasks at the meta-test time for improved generalization. We validate our method on few-shot classification datasets, whose results show that it significantly improves the generalization performance of the base model, and largely outperforms existing regularization methods such as information bottleneck, manifold mixup, and information dropout.

研究の動機と目的

• テストデータの分布が学習時に不明である状況において、モデルの一般化性能を向上させる挑戦に取り組む。
• メタトレーニング中にテスト損失を明示的に最小化する正則化手法を開発し、潜在特徴の最適な摂動を学習する。
• 少サンプル学習における未観測のタスクに適応可能な、転送可能で入力固有のノイズ生成を可能にする。
• 情報ボトルネック、マニフォールドミックスアップ、情報ドロップアウトといった既存の正則化技術を上回ることを目的とする。
• この手法を変分推論フレームワークにおけるメタラーニングとして、確率的解釈を提供すること。

提案手法

• 本手法は、下位層からの入力依存特徴に基づき、潜在特徴上に乗法的ノイズ分布を生成するノイズ生成器を、メタラーニングを用いて訓練する。
• ノイズ生成器は、複数のタスクにおけるランダムなトレーニング/テスト分割を想定した、期待テスト損失を最小化するメタラーニング目的関数により、エンドツーエンドで訓練される。
• ノイズは、学習中に潜在特徴に確率的乗法的摂動として適用され、ノイズ分布は入力に特有で適応的である。
• このフレームワークは、グラフィカルモデルにおける変分推論プロセスをメタラーニングするものと解釈され、ノイズ生成器は事後分布の近似として機能する。
• 本手法は、MAMLに基づく少サンプル学習フレームワーク内に適用され、内側ループと外側ループの最適化を併用してノイズ生成器が同時に訓練される。
• ノイズ生成器は固定分散（例：単位行列）を用いるが、入力特徴に条件付けられるため、適応的かつタスクに一般化可能な摂動が可能になる。

実験結果

リサーチクエスチョン

• RQ1 メタラーニングによる入力依存ノイズ生成器は、標準的な正則化を上回る少サンプル学習における一般化性能を向上させることができるか？
• RQ2 入力依存ノイズは、固定または入力に依存しないノイズと比較して、一般化性能においてどのように異なるか？
• RQ3 メタラーニングされた摂動は、グラフィカルモデルにおける変分推論の一形態として解釈可能か？
• RQ4 Meta-Dropoutは、ベースラインモデルと比較して、 adversarial 攻撃に対してより高い耐性を示すか？
• RQ5 Meta-Dropoutの性能は、マニフォールドミックスアップや情報ドロップアウトといった最先端の正則化手法と比較してどうか？

主な発見

• Omniglot 1-shot（ℓ₁）では96.63%の精度を達成し、MAMLや他のベースラインを著しく上回る。
• Omniglot 5-shot（ℓ∞）では67.42%の精度に達し、次に優れた手法よりも4ポイント以上優れている。
• 入力依存ノイズを用いた手法は、固定ガウス分布、独立ガウス分布、重み学習ガウス分布ベースラインを常に上回り、入力固有の摂動の重要性を示している。
• 固定分散を用いたMeta-Dropoutは、分散を適応的に学習するバージョンよりも優れた性能を示しており、固定ノイズスケールが一般化性能においてより効果的であることを示唆している。
• アブレーションスタディにより、決定的成分（学習されたスケーリング）と確率的成分（ノイズ注入）の両方が不可欠であり、併用することで最高の性能が得られることを確認した。
• Meta-Dropoutは、PGD攻撃下でも標準MAMLや他のベースラインと比較して、より高いクリーン精度を維持し、敵対的耐性が向上していることが示された。