[論文レビュー] Learning Dynamic Alignment via Meta-filter for Few-shot Learning

Chengming Xu, Chen Liu+6 more|arXiv (Cornell University)|Mar 25, 2021

Domain Adaptation and Few-Shot Learning参考文献 50被引用数 16

ひとこと要約

本稿では、局所的なサポート特徴ネ easily から位置固有およびチャネル固有のフィルタ重みを学習することで、クエリ特徴を動的にアライメントする、動的メタフィルタメカニズムを提案する。Neural ODE を統合して適応的で連続的なアライメントを実現し、動的ネ easily 采択を活用することで、miniImageNet および tiered-ImageNet で最先端の性能を達成し、特徴の精錬を向上させるとともに冗長性を低減することで、5ショットタスクにおいて最大 1.16% の精度向上を実現した。

ABSTRACT

Few-shot learning (FSL), which aims to recognise new classes by adapting the learned knowledge with extremely limited few-shot (support) examples, remains an important open problem in computer vision. Most of the existing methods for feature alignment in few-shot learning only consider image-level or spatial-level alignment while omitting the channel disparity. Our insight is that these methods would lead to poor adaptation with redundant matching, and leveraging channel-wise adjustment is the key to well adapting the learned knowledge to new classes. Therefore, in this paper, we propose to learn a dynamic alignment, which can effectively highlight both query regions and channels according to different local support information. Specifically, this is achieved by first dynamically sampling the neighbourhood of the feature position conditioned on the input few shot, based on which we further predict a both position-dependent and channel-dependent Dynamic Meta-filter. The filter is used to align the query feature with position-specific and channel-specific knowledge. Moreover, we adopt Neural Ordinary Differential Equation (ODE) to enable a more accurate control of the alignment. In such a sense our model is able to better capture fine-grained semantic context of the few-shot example and thus facilitates dynamical knowledge adaptation for few-shot learning. The resulting framework establishes the new state-of-the-arts on major few-shot visual recognition benchmarks, including miniImageNet and tieredImageNet.

研究の動機と目的

• 既存の少数ショット学習手法がチャネルレベルの乖離を無視し、冗長なマッチングと不柔軟なアライメントに苦しむという限界を是正すること。
• 局所的サポートコンテキストを用いて、空間的およびチャネルワイドな重要性を動的にモデル化することで、特徴アライメントを改善すること。
• Neural ODE を用いた連続的制御により、固定反復の再帰的アライメントに代わる、適応的でタスクに応じたアライメントを可能にすること。
• 全サポート特徴を使用するのではなく、関連する局所的ネ easily にのみサンプリングすることで、サポート知識の冗長性を低減すること。
• 少数ショット例における高品質なチャネルおよび顕著な領域に注目することで、未知クラスへの知識適応を強化すること。

提案手法

• 入力された少数ショットサポート画像に基づき、学習可能なオフセットを用いて各クエリ特徴位置の周囲に局所的ネ easily を動的にサンプリングする。
• サンプリングされたネ easily から、位置固有およびチャネル固有の動的メタフィルタ（DMF）を予測し、特徴アライメントをガイドする。
• DMF を適用して、クエリとサポート特徴間で適応的かつ学習可能な特徴アライメントを実行し、重要な空間的領域およびチャネルに注目する。
• Neural Ordinary Differential Equation（ODE）を用いてアライメントプロセスを連続的変換としてモデル化し、時間的経過に伴う柔軟で適応的な精錬を可能にする。
• DMF モジュールにグループ畳み込みを統合し、表現力と計算コストのバランスを図り、ショット設定に応じてグループ数を調整する（5ショットでは160、1ショットでは64）。
• 空間解像度を保持し、監督密度を向上させるために、グローバルプーリング層を削除する。

Figure 1: While position-specific alignment cannot eliminate the negative influence of badly-learned channels, channel-specific one can. CAN denotes Cross Attention Network [ 16 ] which is one of the position-specific alignment models in FSL.

実験結果

リサーチクエスチョン

• RQ1 動的で位置およびチャネル固有のフィルタリングは、静的または空間的のみの手法を上回る少数ショット特徴アライメントを実現できるか？
• RQ2 固定反復の再帰的アライメントと比較して、Neural ODE を用いた適応的で連続的なアライメントは、汎化性と頑健性において優れているか？
• RQ3 局所的ネ easily サンプリングは、重要な意味的コンテキストを保持しつつ、サポート知識の冗長性を低減するか？
• RQ4 サポート特徴にうまく学習されていないチャネルが含まれる場合、チャネルワイド注目が性能にどの程度寄与するか？
• RQ5 異なる情報容量要件を有するショット設定（1ショット対5ショット）において、モデルの汎化性能はどの程度向上するか？

主な発見

• 提案手法は、miniImageNet および tiered-ImageNet で新たな最先端性能を達成し、先行手法と比較して5ショットタスクで1.16%の精度向上を達成した。
• グローバルプーリング層を削除することで、1ショットで0.64%、5ショットで1.16%の性能向上が得られ、空間的詳細の良好な保持と密度の高い監督の強化によるものである。
• アライメントに Neural ODE を用いることで、固定反復の再帰的アライメントに比べて優れた性能が得られ、特に5ショットタスクでは固定反復が精度を0.95%低下させることが判明した。
• ODEベースのアライメントを備えたモデルは、すべてのタスクですべてのベースラインを上回り、適応的で連続的な精錬の有効性を示した。
• DMFモジュールにおけるグループ数は性能に顕著な影響を与え、5ショットでは160、1ショットでは64が最適であり、ショットレベルに応じた適応的容量の必要性を裏付けた。
• 可視化結果から、動的メタフィルタはターゲットオブジェクトを効果的に強調し、ノイズや関係のないチャネルを抑制していることが示され、CAN や非アライメントベースラインを上回る特徴アライメント品質を達成した。

Figure 2: Schematic illustration of our proposed model for 1-shot task. Support and query features are extracted with a backbone network $f_{emb}$ . Then two features are employed to predict an offset map using the local knowledge, which is used to dynamically sample the support feature to collect u