[論文レビュー] Low-Shot Learning from Imaginary Data

Yu-Xiong Wang, Ross Girshick+2 more|arXiv (Cornell University)|Jan 16, 2018

Domain Adaptation and Few-Shot Learning参考文献 34被引用数 70

ひとこと要約

学習済みの hallucinator によって強化されたメタ学習フレームワークが、有用な合成例を生成して少数ショット（few-shot）分類を改善する；ImageNetの低ショットベンチマークで最先端を達成し、単一例の新規クラスで最大6パーセントポイントの改善を達成。

ABSTRACT

Humans can quickly learn new visual concepts, perhaps because they can easily visualize or imagine what novel objects look like from different views. Incorporating this ability to hallucinate novel instances of new concepts might help machine vision systems perform better low-shot learning, i.e., learning concepts from few examples. We present a novel approach to low-shot learning that uses this idea. Our approach builds on recent progress in meta-learning ("learning to learn") by combining a meta-learner with a "hallucinator" that produces additional training examples, and optimizing both models jointly. Our hallucinator can be incorporated into a variety of meta-learners and provides significant gains: up to a 6 point boost in classification accuracy when only a single training example is available, yielding state-of-the-art performance on the challenging ImageNet low-shot classification benchmark.

研究の動機と目的

• 低ショット学習を動機づけ、人間のような想像力を活用して有用なトレーニング変動を生成する。
• 情報量の多い合成例を生成するために、分類器とhallucinatorを共同で学習させる統一的なメタ学習フレームワークを提案する。
• 学習された幻覚が、複数のメタ学習アーキテクチャに渡って新規クラスの精度を改善することを示す。
• 現実的な ImageNet ベースの低ショットベンチマークで評価し、最先端の性能を確立する。

提案手法

• seed real example x とノイズベクトル z をマッピングして幻覚化した例 x' = G(x, z; w_G) を生成する hallucinator G を定義する。
• 差分可能な学習目的を用いたエンドツーエンド最適化を通じて、hallucinator G とメタラーナー h を共同訓練する。
• メタテスト時には訓練セットを幻覚化した例で増強し、増強集合で h を訓練する；メタトレーニング時には h と G を逆伝搬して w_G とメタラーナーのパラメータを最適化する。
• 幻覚化は現実的であったり完全に多様である必要はなく、むしろ分類器にとって情報量の多いサンプルを生み出すべく、メタラーニングによって学習されるべきである。
• このアプローチを prototypical networks、matching networks、提案する prototype matching networks に適用し、メタ学習手法全体での汎用性を示す。
• hallucinator の初期化とアーキテクチャ（ReLU を持つ三層の MLP；ブロック対角の恒等初期化）を説明し、訓練は PN、MN、PMN のような微分可能な分類器を用いて行われることを述べる。

実験結果

リサーチクエスチョン

• RQ1 学習済みの hallucinator は、メタ学習と組み合わせて使用する際に、低ショット分類の性能を意味のある形で改善するような合成例を生成できるか。
• RQ2 learned hallucination からの改善は、異なるメタ学習アーキテクチャ（例：PN、MN、PMN）全体で堅牢か。
• RQ3 hallucinator と分類器の共同最適化は、手作りのデータ拡張やノイズベースの拡張を用いるベースラインよりも上回るか。
• RQ4 joint base+novel 評価設定において新規クラスと基盤クラスの性能にどのように影響するか、また新規クラスについての事前分布が結果にどう影響するか。

主な発見

• エンドツーエンドでメタ学習と共に訓練された幻覚は、新規クラスの精度を着実に向上させ、プロトタイプ網（prototypical networks）では1例しか利用できない場合で最大約6パーセントポイントの改善を達成。
• G は複数のメタ学習アーキテクチャ（PN、MN、PMN）にわたって改善を生み出し、特に新規クラスで効果が大きく、より多くの新規例が与えられると利益は減少するが、特定の n 値までは依然として有意。
• 学習された幻覚器はミス評価（mis-calibration）への頑健性を高め、base+novel の joint 評価で性能を向上させ、 novel クラスについての事前分布が完全に調整されていない場合に特に有効。
• 従来のヒューリスティックに基づく幻覚化と比較して、学習済みアプローチは大幅にベースラインを上回り、ImageNet の低ショットベンチマークで最先端の結果を確立。
• アブレーション研究では、単純なジッタリングや訓練されていないガウシアン幻覚器は、学習されたメタ学習幻覚器に比べて劣ることが示され、タスク固有の幻覚学習の必要性を強調。