[論文レビュー] Explanation-Guided Training for Cross-Domain Few-Shot Classification

Jiamei Sun, Sebastian Lapuschkin+4 more|arXiv (Cornell University)|Jul 17, 2020

Domain Adaptation and Few-Shot Learning参考文献 55被引用数 19

ひとこと要約

本稿では、中間特徴マップからのレイヤーごとの関連スコア（LRPスコア）を活用して、トレーニング中に特徴量を動的に重み付け・精錬する説明誘導型トレーニングを、クロスドメイン少数ショット分類に提案する。この手法により、3つのFSCモデル（RelationNet、CAN、GNN）が5つのデータセット（miniImageNet、CUB、Cars、Places、Plantae）で一貫した性能向上を達成し、一般化性能が向上し、ソースドメインへの過学習が低減される。

ABSTRACT

Cross-domain few-shot classification task (CD-FSC) combines few-shot classification with the requirement to generalize across domains represented by datasets. This setup faces challenges originating from the limited labeled data in each class and, additionally, from the domain shift between training and test sets. In this paper, we introduce a novel training approach for existing FSC models. It leverages on the explanation scores, obtained from existing explanation methods when applied to the predictions of FSC models, computed for intermediate feature maps of the models. Firstly, we tailor the layer-wise relevance propagation (LRP) method to explain the predictions of FSC models. Secondly, we develop a model-agnostic explanation-guided training strategy that dynamically finds and emphasizes the features which are important for the predictions. Our contribution does not target a novel explanation method but lies in a novel application of explanations for the training phase. We show that explanation-guided training effectively improves the model generalization. We observe improved accuracy for three different FSC models: RelationNet, cross attention network, and a graph neural network-based formulation, on five few-shot learning datasets: miniImagenet, CUB, Cars, Places, and Plantae. The source code is available at https://github.com/SunJiamei/few-shot-lrp-guided

研究の動機と目的

• ドメインシフトの課題に対処すること。具体的には、あるドメインで訓練されたモデルが、未観測ドメインに一般化できない問題に焦点を当てる。
• 中間特徴マップからの説明スコアがトレーニング中に活用可能かどうかを調査すること。これにより、モデルの一般化性能が向上するかを検証する。
• モデルに依存しないトレーニング戦略を開発し、説明に基づく特徴量重み付けを用いて、ソースドメインへの過学習を低減すること。
• 説明誘導型トレーニングの有効性を、多様なFSCモデルとクロスドメイン少数ショット学習ベンチマークで評価すること。

提案手法

• 少数ショット分類モデルの予測を説明するため、最終予測から中間特徴マップへと関連スコアを逆伝播させるようにLRPを適応する。
• 各サンプルに対してラベル固有のLRP関連スコアを計算し、予測クラスに寄与するニューロンの重要度を特徴マップ内のニューロンに割り当てる。
• 元の特徴量と対応する関連スコアを乗算することで、LRP重み付き特徴マップを構築する。これにより、情報量の多い特徴量が強調され、関連性の低い特徴量は抑制される。
• トレーニングプロセスにLRP重み付き特徴量を統合し、サンプルおよびラベルに依存する動的な特徴量重み付け機構を実装する。
• さらに性能を向上させるために、説明誘導型トレーニングと特徴量ごとの変換（例：バッチ正則化に類似した操作）を組み合わせる。
• トレーニング中はLRP重み付き特徴量をモデルの入力として使用することで、よりロバストで一般化可能な表現を学習できるようにする。

実験結果

リサーチクエスチョン

• RQ1 中間特徴マップからの説明スコアは、少数ショット分類モデルのトレーニングを効果的に誘導するために活用可能か？
• RQ2 説明誘導型トレーニングは、ソースドメインへの過学習を低減し、クロスドメイン少数ショット学習における一般化性能を向上させるか？
• RQ3 LRPベースの特徴量重み付けの使用は、学習された特徴表現の多様性とバランスにどのように影響するか？
• RQ4 説明誘導型トレーニングは、異なるFSCアーキテクチャ（例：RelationNet、CAN、GNN）に効果的に適用可能か？

主な発見

• 説明誘導型トレーニングは、3つの異なるFSCモデル（RelationNet、クロスアテンションネットワーク（CAN）、グラフニューラルネットワークベースのモデル）において、少数ショット分類精度を顕著に向上させる。
• 本手法は、5つのクロスドメイン少数ショット学習データセット（miniImageNet、CUB、Cars、Places、Plantae）で一貫した性能向上を達成する。
• 特徴表現の分散（$S^2$および95%-45%分位数差）は、説明誘導型トレーニング後に低下しており、よりバランスの取れた多様な特徴学習が実現していることが示唆される。
• 分散の低下は、一次統計量の低下によるものではない。例えば、CANでは特徴量$f$の平均が上昇する一方で$S^2$が低下しており、特徴表現の安定性が向上していることが示唆される。
• 定性的なLRPヒートマップでは、正しく予測する際、モデルが意味的に関連する画像領域（例：犬の頭部、窓枠）に注目していることが観察される。一方、誤り予測では、誤った関連性や対照的な特徴が強調されている。
• 説明誘導型トレーニングと特徴量ごとの変換の組み合わせにより、さらなる性能向上が得られ、最適化の相乗効果が示唆される。