[論文レビュー] Ranking Distance Calibration for Cross-Domain Few-Shot Learning

Li Pan, Shaogang Gong+2 more|arXiv (Cornell University)|Dec 1, 2021

Domain Adaptation and Few-Shot Learning参考文献 41被引用数 4

ひとこと要約

本稿では、クロスドメイン少数ショット学習（CD-FSL）のためのランク距離キャリブレーション（RDC）を提案する。RDCは、ターゲットドメインにおけるk-相互近傍の再ランク付けと、非線形部分空間による距離のキャリブレーションを通じて、距離ベース分類を向上させる。RDC-FTは、キャリブレートされた距離を埋め込むためにカルバック・ライバラー距離損失を用いてモデルをファインチューニングし、8つの多様なターゲットドメインで最先端の性能を達成し、ベースライン手法に対して一貫した向上を示した。

ABSTRACT

Recent progress in few-shot learning promotes a more realistic cross-domain setting, where the source and target datasets are from different domains. Due to the domain gap and disjoint label spaces between source and target datasets, their shared knowledge is extremely limited. This encourages us to explore more information in the target domain rather than to overly elaborate training strategies on the source domain as in many existing methods. Hence, we start from a generic representation pre-trained by a cross-entropy loss and a conventional distance-based classifier, along with an image retrieval view, to employ a re-ranking process for calibrating a target distance matrix by discovering the reciprocal k-nearest neighbours within the task. Assuming the pre-trained representation is biased towards the source, we construct a non-linear subspace to minimise task-irrelevant features therewithin while keep more transferrable discriminative information by a hyperbolic tangent transformation. The calibrated distance in this target-aware non-linear subspace is complementary to that in the pre-trained representation. To impose such distance calibration information onto the pre-trained representation, a Kullback-Leibler divergence loss is employed to gradually guide the model towards the calibrated distance-based distribution. Extensive evaluations on eight target domains show that this target ranking calibration process can improve conventional distance-based classifiers in few-shot learning.

研究の動機と目的

• ソースドメインとターゲットドメインの間で分布とクラスラベルが著しく異なる状況において、ドメインシフトと分離したラベル空間を抱えるクロスドメイン少数ショット学習（CD-FSL）の課題に対処すること。
• ソースドメインで最適化されたが、ターゲットドメインへの一般化が不十分な事前学習表現に生じるバイアスを低減すること。
• ターゲットドメインにおけるk-相互近傍を用いた再ランク付けにより、より信頼性の高い陽性サンプルを同定することで、CD-FSLにおける距離ベース分類を改善すること。
• 既存のモデル学習アプローチと直交的かつ補完的である方法を開発し、ファインチューニングまたは非ファインチューニングフレームワークへの柔軟な統合を可能にすること。
• タスクに不要な特徴を最小限に抑えつつ、移譲可能な知識を保持するように、距離行列を判別力を持たせる形でキャリブレーションすること。

提案手法

• 本手法は、交差エントロピー損失を用いた事前学習表現と、従来の距離ベース分類器を用いる。CD-FSLを画像検索タスクとして扱う。
• ターゲットドメインにおけるk-近傍リストの拡張を目的としたk-相互近傍探索プロセスを適用し、初期ランク付けのロバスト性を向上させる。
• 元のランクリストと拡張されたランクリストの間のジャカード距離を計算し、再計算されたペアワイズ距離を形成することで、より正確な距離行列を構築する。
• 双曲正弦関数変換を用いて非線形部分空間を学習し、ソース表現を射影することで、タスクに不要な特徴の伝搬を最小限に抑えつつ、判別情報を保持する。
• キャリブレートされた距離行列と元の事前学習距離行列を融合し、頑健なハイブリッド距離測度を形成する。
• RDC-FTは、特徴分布をキャリブレートされた距離ベースの分布に徐々に一致させるために、カルバック・ライバラー距離損失を用いてモデルをファインチューニングする。

実験結果

リサーチクエスチョン

• RQ1 k-相互近傍に基づく再ランク付けは、クロスドメイン少数ショット学習における距離キャリブレーションを改善できるか？
• RQ2 タスクに適応する非線形部分空間を学習することで、CD-FSLにおけるソースドメイン事前学習表現からのバイアスを低減できるか？
• RQ3 キャリブレートされた距離行列を微分可能損失を介してモデルに効果的に統合できるか？
• RQ4 本手法は、多様で未知のターゲットドメインにおいて、最先端のアプローチと比較してどのように性能を発揮するか？
• RQ5 本手法は、データ拡張などの他のトレーニング戦略と柔軟に組み合わせられ、さらなる性能向上が可能か？

主な発見

• RDC-FTは8つのターゲットドメインで最先端の性能を達成し、NPCやデータ拡張ベースラインを含むベースライン手法に対して一貫した向上を示した。
• 5-way 1-shot設定において、データ拡張を組み合わせた場合、CropDiseaseでは正解率が71.94%から84.73%へ12.47%向上した。
• KL損失は、ほとんどのドメインでMSEおよび交差エントロピー損失を上回り、特にPlaces、Plantae、EuroSATでは、緩められた距離分布の恩恵が顕著に見られた。
• t-SNE可視化では、RDC-FTがクラス内変動を低減し、クラス間マージンを拡大しており、より判別力のある表現を実現していることが示された。
• RDCはデータ拡張手法と組み合わせた場合にも一貫して性能向上を示し、他のトレーニング戦略との一般化可能性と相互運用性を確認した。
• RDCの失敗事例はRDC-FTによって是正された。これは、ファインチューニングプロセスが、キャリブレーション情報を表現空間に効果的に埋め込んでいることを裏付けた。