[論文レビュー] Feature Transformation Ensemble Model with Batch Spectral Regularization for Cross-Domain Few-Shot Classification

Bingyu Liu, Zhen Zhao+4 more|arXiv (Cornell University)|May 18, 2020

Domain Adaptation and Few-Shot Learning参考文献 5被引用数 25

ひとこと要約

本論文は、バッチスペクトル正則化（BSR）を用いた特徴変換アンサンブルモデルを提案し、豊富な特徴表現空間と前処理段階でのスペクトル正則化により、多様なドメイン間で一般化性能を向上させるクロスドメイン少数ショット学習（CD-FSL）を実現する。この手法は、BSR+LP+DAをアンサンブル構成で使用した際、CD-FSLベンチマークで平均73.94%の精度を達成し、最先端の性能を示した。

ABSTRACT

In this paper, we propose a feature transformation ensemble model with batch spectral regularization for the Cross-domain few-shot learning (CD-FSL) challenge. Specifically, we proposes to construct an ensemble prediction model by performing diverse feature transformations after a feature extraction network. On each branch prediction network of the model we use a batch spectral regularization term to suppress the singular values of the feature matrix during pre-training to improve the generalization ability of the model. The proposed model can then be fine tuned in the target domain to address few-shot classification. We also further apply label propagation, entropy minimization and data augmentation to mitigate the shortage of labeled data in target domains. Experiments are conducted on a number of CD-FSL benchmark tasks with four target domains and the results demonstrate the superiority of our proposed model.

研究の動機と目的

• ターゲットドメインにおけるラベル付きデータが極めて限られている状況におけるドメインシフトの課題に対処すること。
• 前処理段階でソースドメインへの過学習を抑えることで、ドメイン間でのモデル一般化性能を向上させること。
• アンサンブル学習とデータ拡張を活用し、リソースが限られたターゲットドメインにおける予測のロバスト性と性能を向上させること。
• ファインチューニング段階でラベル伝搬とエントロピー最小化を用いて、ターゲットドメインにおけるラベルの不足を緩和すること。

提案手法

• 特徴抽出にResNet-10バックボーンを用い、複数のアンサンブルブランチで多様な特徴表現空間を生成するために、ランダムな直交行列を用いた特徴変換を実施する。
• 前処理段階で、特徴行列のすべての特異値を抑えるバッチスペクトル正則化（BSR）を適用し、ターゲットドメインへの一般化性能を向上させる。
• M個の分類器からなるアンサンブルを構築し、各分類器を変換された特徴空間上で学習させ、最終的な予測を平均化することでロバスト性を確保する。
• ファインチューニング段階でラベル伝搬（LP）とデータ拡張（DA）を統合し、ラベルなしのクエリデータを活用して一般化性能を向上させる。
• ラベルなしのクエリサンプルに対して自信のある出力を促すために、エントロピー最小化を用いて予測を精緻化する。
• ミニバッチSGDとモーメンタムを用いて学習を実施し、前処理段階およびファインチューニング段階で各ブランチに対して交差エントロピー損失に加え、BSR正則化を最適化する。

実験結果

リサーチクエスチョン

• RQ1 標準的なファインチューニングと比較して、特徴変換を施した予測器のアンサンブルは、クロスドメイン少数ショット一般化性能を向上させることができるか？
• RQ2 バッチスペクトル正則化は、ソースドメインへの過学習を効果的に抑えており、ターゲットドメインへの転移性を向上させているか？
• RQ3 ラベル伝搬とデータ拡張は、ショット数が少ないターゲットドメインにおける性能向上にどのように寄与しているか？
• RQ4 BSR、LP、DAの組み合わせは、個々のコンponentと比較して優れた性能を発揮するか？

主な発見

• 提案されたBSR+LP+DAアンサンブルモデルは、全データセットおよびショットレベルで平均73.94%の精度を達成し、強力なファインチューニングベースライン（67.23%）を顕著に上回った。
• アンサンブルや追加コンponentsを用いなくても、BSR単体で70.76%の精度に向上し、ドメインシフトの低減効果を示した。
• BSRのアンサンブル版は72.35%の精度にまで向上させ、特徴変換の多様性がロバスト性を向上させることを示した。
• ラベル伝搬は、常に性能向上をもたらし、特にソースドメインに近いドメインで顕著であった。一方、データ拡張は遠く離れたドメインでより効果的であった。
• ISIC2018ドメインではデータ拡張が性能を低下させたが、これはドメインに依存した有効性を示しており、エントロピー最小化は計算コストを抑えつつDAと同等の効果を発揮した。
• 最良の設定、すなわちBSR+LP+DA（アンサンブル）は、CropDiseasesで88.13% ± 0.49%、EuroSATで94.72% ± 0.28%、ChestXで99.73% ± 0.06%の精度を達成し、強力なクロスドメイン適合性を示した。