[論文レビュー] Revisiting Mid-Level Patterns for Distant-Domain Few-Shot Recognition.

Yixiong Zou, Shanghang Zhang+3 more|arXiv (Cornell University)|Aug 7, 2020

Domain Adaptation and Few-Shot Learning被引用数 7

ひとこと要約

本稿では、中レベル特徴量を再考することで、遠いドメインにおける少サンプル学習のための新規アプローチを提案する。中レベル特徴量の判別能を向上させるために、残差予測タスクを導入し、統一された学習フレームワークを用いて、6つの公開データセット（2つの医療ベンチマークを含む）において、ドメイン内および遠いドメイン設定の両方で最先端の性能を達成する。

ABSTRACT

Existing few-shot learning (FSL) methods usually assume known classes and novel classes are from the same domain (in-domain setting). However in practice, it may be infeasible to collect sufficient training samples for some special domains to construct known classes. To solve this problem, cross-domain FSL (CDFSL) is proposed very recently to transfer knowledge from general-domain known classes to special-domain novel classes. Existing CDFSL works mostly focus on transferring between close domains, while rarely consider transferring between distant domains, which is even more challenging. In this paper, we study distant-domain FSL, a challenging subset of CDFSL, by revisiting the mid-level features, which are more transferable yet under-explored in main stream FSL work. To boost the discriminability of mid-level features, we propose a residual-prediction task to encourage mid-level features to learn discriminative information of each sample. Notably, such mechanism also benefits the in-domain FSL. Therefore, we provide two types of features for both distant- and in-domain FSL respectively, under the same training framework. Experiments under both settings on six public datasets, including two challenging medical datasets, validate the rationale of the proposed method and demonstrate state-of-the-art performance.

研究の動機と目的

• 既知のクラスと新規クラスが遠いドメインに属する状況における少サンプル学習の課題に取り組む。従来の手法はドメインシフトのため失敗する。
• 既存のクロスドメインFSL手法が主に近いドメイン間の転送に特化しているという限界を克服し、遠いドメイン間の転送に特に焦点を当てる。
• 高い転送可能性を示すが、主流のFSLで活用されていない中レベル特徴量の判別能を向上させる。
• 同じ学習済み特徴量を用いてドメイン内および遠いドメインにおける少サンプル学習をサポートする統一された学習フレームワークを開発する。
• 多様なドメイン、特に医療画像を含む低ショット状況において、中レベル特徴量の有効性を実証する。

提案手法

• 入力サンプルの残差表現を予測させることで、中レベル特徴量の判別能を高めるための残差予測タスクを提案する。
• 中レベル特徴量の学習と分類の両方を同時に最適化する統一された学習フレームワークに、残差予測タスクを統合する。
• 中レベル特徴量を少サンプル分類の主な表現として活用し、ドメインをまたいで高い転送性を発揮する。
• 一般ドメインの既知クラスに対してエンドツーエンドでモデルを学習し、新規クラスが特殊（遠い）ドメインに属する状況でもゼロショット転移を可能にする。
• ドメイン内および遠いドメインにおける少サンプル認識に、同じモデルと特徴抽出器を用いることで、一貫性と一般化性を確保する。
• 2つの挑戦的な医療データセットを含む複数のベンチマークで手法を適用し、妥当性、ロバストネス、および転送性を検証する。

実験結果

リサーチクエスチョン

• RQ1 中レベル特徴量は、遠いドメイン間転送設定における少サンプル一般化を向上させるために、効果的に活用可能か？
• RQ2 残差予測タスクを導入することで、中レベル特徴量の判別能が少サンプル学習において顕著に向上するか？
• RQ3 統一されたモデルフレームワークは、ドメイン内および遠いドメインにおける少サンプル学習の両方で強力な性能を達成できるか？
• RQ4 本手法は、多様なデータセット、特に医療画像を含む既存の最先端手法と比較して、どのように優れているか？
• RQ5 中レベル特徴量は、クロスドメイン少サンプル学習状況において、グローバル特徴量やローカル特徴量と比較して、どれほど優れているか、あるいは補完的か？

主な発見

• 提案手法は、2つの医療データセットも含む6つの公開少サンプル学習ベンチマークで最先端の性能を達成した。
• 残差予測タスクは、中レベル特徴量の判別能を顕著に向上させ、より良い少サンプル一般化を実現した。
• 中レベル特徴量は、遠いドメイン間でも強力な転送性を示し、グローバルまたはローカル表現に依存する手法を上回った。
• 統一された学習フレームワークは、ドメイン内および遠いドメインにおける少サンプル学習を効果的にサポートし、一貫した性能向上を達成した。
• 本手法は、医療画像応用を含む多様なドメインにおいて、ロバストネスと一般化性を示した。
• アブレーションスタディにより、残差予測タスクが特徴量の判別能および全体の精度を向上させる重要な要因であることが確認された。