[論文レビュー] Tree Structure-Aware Few-Shot Image Classification via Hierarchical Aggregation

Min Zhang, Siteng Huang+2 more|arXiv (Cornell University)|Jul 14, 2022

Domain Adaptation and Few-Shot Learning被引用数 5

ひとこと要約

本稿では、プリプロセスタスクをより効果的に活用することで、構造的な特徴抽出を用いる、少サンプル画像分類のためのプラグイン型階層的ツリー構造認識（HTS）手法を提案する。HTSはツリー構造を用いて、元画像とその増幅画像の関係をモデル化し、ゲート付きアグレゲーターを用いて有用な特徴を動的に選択する。HTSは、複数の少サンプル学習手法を顕著に改善し、4つのベンチマークデータセットで新たなSOTA性能を達成した。

ABSTRACT

In this paper, we mainly focus on the problem of how to learn additional feature representations for few-shot image classification through pretext tasks (e.g., rotation or color permutation and so on). This additional knowledge generated by pretext tasks can further improve the performance of few-shot learning (FSL) as it differs from human-annotated supervision (i.e., class labels of FSL tasks). To solve this problem, we present a plug-in Hierarchical Tree Structure-aware (HTS) method, which not only learns the relationship of FSL and pretext tasks, but more importantly, can adaptively select and aggregate feature representations generated by pretext tasks to maximize the performance of FSL tasks. A hierarchical tree constructing component and a gated selection aggregating component is introduced to construct the tree structure and find richer transferable knowledge that can rapidly adapt to novel classes with a few labeled images. Extensive experiments show that our HTS can significantly enhance multiple few-shot methods to achieve new state-of-the-art performance on four benchmark datasets. The code is available at: https://github.com/remiMZ/HTS-ECCV22.

研究の動機と目的

• 既存の少サンプル学習手法がプリプロセスタスクからのすべての増幅画像を無差別に使用するという制限を解決すること。これは、曖昧な意味的情報が性能を低下させる要因となるためである。
• 人間によるラベルにとどまらず、プリプロセスタスクから転移可能な知識を学習することで、少サンプル学習の一般化性能を向上させること。
• 少サンプル分類タスクに対する関連性に基づき、複数のプリプロセスタスクからの特徴表現を動的に選択・集約できる柔軟なプラグイン型フレームワークを開発すること。
• 異なるプリプロセスタスクからの元画像とその増幅画像の間の階層的関係を、動的変更が可能なツリー構造を用いてモデル化すること。

提案手法

• 元画像と異なるプリプロセスタスクからの増幅画像の関係をモデル化するための階層的ツリー構築コンponentを導入。ノードは画像を表し、エッジは特徴類似度を符号化する。
• ツリー構造は複数のレベルを用い、異なるプリプロセスタスクからの特徴を表現することで、タスク固有の表現と共有表現を階層的に学習可能にする。
• TreeLSTMに基づくゲート付き選択アグレゲーションコンponentを用い、ツリー内の異なるノードからの特徴を動的に重み付け・集約し、情報量が多く転移可能な表現を優先する。
• 本手法はデータ増幅（DA）および自己教師強化学習（SSL）の両設定で動作し、既存の少サンプル学習フレームワークにプラグインとして統合可能である。
• マルチタスクの目的関数を用いてモデルを訓練し、少サンプル分類損失とプリプロセスタスク損失を同時に最適化。ツリー構造が特徴統合の選択的制御を支援する。
• 標準的なバックボーン（例：Conv4 および ResNet12）と互換性があり、グローバル平均プーリングと最終的な全結合層を介して、64次元の埋め込み表現をエンドツーエンドで適用する。

実験結果

リサーチクエスチョン

• RQ1 増幅画像の構造的表現は、標準的なデータ増幅や自己教師強化学習を上回る少サンプル分類性能を向上させることができるか？
• RQ2 複数のプリプロセスタスクからの特徴表現の中から、曖昧な増幅がもたらす負の転移を避けるために、最も有用な表現をモデルが動的に選択できるか？
• RQ3 増幅画像間の階層的関係をモデル化することで、低ショット設定における特徴の転送可能性と一般化性能がどの程度向上するか？
• RQ4 提案手法は、異なるデータセットや少サンプル学習設定（例えばドメインシフトを含む）に一般化可能か？

主な発見

• HTSは、ミニ-ImageNet、ティアード-ImageNet、CUB-200-2011、CIFAR-FSの4つのベンチマークデータセットで、1ショットおよび5ショット設定の両方で新たなSOTA性能を達成した。
• ミニ-ImageNetでは、回転および色順列入れ替えのプリプロセスタスクを用いた場合、5ウェイ1ショット設定でProtoNetの精度を2.1%向上し、5ウェイ5ショット設定で1.8%向上した。
• 本手法は強力なドメインシフト一般化性能を示し、クロスドメイン評価において、シングルドメインおよび非対角ドメインシフトを含むすべての設定で、ProtoNetを上回った。
• Grad-CAMの可視化結果から、HTSは、プリプロセスタスクによる意味的バイアスを低減させつつ、判別性の高い局所的オブジェクト特徴に注目を向けることを促進していることが示された。
• アブレーションスタディの結果、階層的ツリー構造とゲートアグレゲーションの両方が不可欠であることが確認された。ツリー構造はより良い特徴の整理を可能にし、ゲート機構は選択精度を向上させた。
• 本手法は、回転や色順列入れ替えといった異なるプリプロセスタスクに対してロバストであり、全4つのデータセットで、タスクの種別に関係なく一貫した性能向上を示した。