[論文レビュー] RelationNet2: Deep Comparison Columns for Few-Shot Learning

Xueting Zhang, Yuting Qiang+3 more|arXiv (Cornell University)|Nov 17, 2018

Domain Adaptation and Few-Shot Learning参考文献 48被引用数 18

ひとこと要約

RelationNet2 は、階層的特徴レベルにおける複数の非線形距離メトリクスを関係モジュールを用いて同時に学習することで、少数ショット学習を向上させる深層比較ネットワーク（DCN）を提案する。また、ガウスノイズ正則化を用いた分布的特徴埋め込みにより過学習を防ぐ。本手法は、miniImageNet および tiered-ImageNet ベンチマークで最先端の性能を達成し、一般化性能とアーキテクチャの単純さを向上させる。

ABSTRACT

Few-shot deep learning is a topical challenge area for scaling visual recognition to open ended growth of unseen new classes with limited labeled examples. A promising approach is based on metric learning, which trains a deep embedding to support image similarity matching. Our insight is that effective general purpose matching requires non-linear comparison of features at multiple abstraction levels. We thus propose a new deep comparison network comprised of embedding and relation modules that learn multiple non-linear distance metrics based on different levels of features simultaneously. Furthermore, to reduce over-fitting and enable the use of deeper embeddings, we represent images as distributions rather than vectors via learning parameterized Gaussian noise regularization. The resulting network achieves excellent performance on both miniImageNet and tieredImageNet.

研究の動機と目的

• 限られたラベル付き例での少数ショット視覚認識の課題に取り組むこと、特にオープンエンドドの学習シナリオにおいて。
• 単なる線形メトリクスを超えて、非線形でマルチレベルの特徴比較を可能にすることで、少数ショット学習における一般化性能を向上させること。
• 特に深層アーキテクチャを用いた場合に、少数ショットデータで訓練する際の過学習を軽減すること。
• タスク固有の微調整の必要性を排除しながら、高速な推論と学習を維持すること。
• 特徴階層の複数の抽象レベルにわたり、効果的な勾配伝播と表現学習を可能にすること。

提案手法

• 本フレームワークは、標準的なベクトル埋め込みの代わりに、パラメータ化されたガウスノイズ正則化を用いて特徴の分布を出力する深層埋め込みネットワークを採用する。
• 特徴階層の異なるレベルで動作する複数の関係モジュールを導入し、それぞれが対応する特徴表現上で非線形距離メトリクスを学習する。
• 各関係モジュールは深層監督を受けるため、階層全体にわたりより良い勾配伝播と訓練安定性が得られる。
• 学習可能なアテンションを用いてモジュールの重み付けを行うことで、予測を動的に統合し、手動でのハイパーパramータチューニングへの依存を低減する。
• 補助的な少数ショットタスクを用いてエンドツーエンドで学習し、新しいクラスへの素早い適応に役立つタスクに依存しないメタ知識を学習する。
• 分類と類似度マッチングの両方をサポートし、推論は埋め込み空間における最近傍探索に基づく。

実験結果

リサーチクエスチョン

• RQ1 異なる抽象レベルで動作する複数の非線形比較モジュールは、単一レベルのメトリクスと比較して、少数ショット一般化性能を向上させるか？
• RQ2 確率的正則化による特徴の分布表現は、推論コストを増加させることなく、少数ショット学習における一般化性能を向上させるか？
• RQ3 関係モジュールの深層監督は、深層メトリクス学習フレームワークにおける性能と訓練安定性を向上させるか？
• RQ4 特徴階層の異なる深さに位置する関係モジュールは、予測の多様性と補完性にどのように寄与するか？
• RQ5 本手法は、tiered-ImageNet などの困難なベンチマークにおいて、既存の最先端の少数ショット学習モデルをどの程度上回るか？

主な発見

• RelationNet2 は、miniImageNet および tiered-ImageNet ベンチマークの両方で最先端の性能を達成し、RelationNet や ProtoNet、MAML などの既存手法を上回る。
• アブレーションスタディにより、関係モジュールの深層監督が性能を顕著に向上させることを確認した。DCN-No Deep Sup. では顕著な精度低下が観察された。
• モジュール統合のためのアテンション重みの学習は、固定された手動重みよりも性能を向上させ、ハイパーパramータチューニングの必要性を排除する。
• 個々の関係モジュールは競争力のある性能を示すが、それらの組み合わせが最も優れた結果をもたらし、マルチレベル特徴比較の価値を裏付けた。
• 関係モジュールの予測相関は低く（最小0.34）、多様で重複のない予測を示しており、隣接するモジュール同士の相関は非隣接モジュールより高かった。
• スコア-距離相関の分析により、関係モジュールのスコアが ImageNet の意味的距離と整合していることが確認され、解釈可能性と識別性能の妥当性が裏付けられた。