[論文レビュー] Characterizing Generalization under Out-Of-Distribution Shifts in Deep Metric Learning

Timo Milbich, Karsten Roth+4 more|arXiv (Cornell University)|Jul 20, 2021

Domain Adaptation and Few-Shot Learning被引用数 8

ひとこと要約

本稿では、Fréchet Inception Distanceを用いて分布シフトの難易度を測定することで、分布外（OOD）一般化を体系的に評価するためのooDMLベンチマークを導入する。標準的なDML手法はOODシフト下で著しく性能を低下させるが、少数のサンプルを用いた微調整（few-shot fine-tuning）は、特に高いシフト設定下でも一般化性能を一貫して向上させることが示された。

ABSTRACT

Deep Metric Learning (DML) aims to find representations suitable for zero-shot transfer to a priori unknown test distributions. However, common evaluation protocols only test a single, fixed data split in which train and test classes are assigned randomly. More realistic evaluations should consider a broad spectrum of distribution shifts with potentially varying degree and difficulty. In this work, we systematically construct train-test splits of increasing difficulty and present the ooDML benchmark to characterize generalization under out-of-distribution shifts in DML. ooDML is designed to probe the generalization performance on much more challenging, diverse train-to-test distribution shifts. Based on our new benchmark, we conduct a thorough empirical analysis of state-of-the-art DML methods. We find that while generalization tends to consistently degrade with difficulty, some methods are better at retaining performance as the distribution shift increases. Finally, we propose few-shot DML as an efficient way to consistently improve generalization in response to unknown test shifts presented in ooDML. Code available here: https://github.com/CompVis/Characterizing_Generalization_in_DML.

研究の動機と目的

• 既存のDMLベンチマークが、一貫した固定された、しばしばi.i.d.に近い訓練・テスト分割に基づいて一般化を評価するという限界に対処する。この評価方法は、現実世界のOOD分布シフトを十分に捉えていない。
• 分布シフトの難易度を段階的に高めた訓練・テスト分割のスケールを体系的に構築し、DMLの一般化性能をより現実的かつ包括的に評価可能にする。
• 多様なOODシフト下における最先端DML手法の性能を分析し、さまざまな正則化手法やアーキテクチャ選択の影響を理解する。
• 少々の微調整（few-shot fine-tuning）が、次第に困難になる分布シフトにわたって一貫してOOD一般化性能を向上させる有効でシンプルな手法であるかどうかを調査する。
• CUB200-2011、CARS196、SOPデータセットに複数の分割を含む、公開可能なベンチマークを提供し、少々のDML研究のための訓練および評価エピソードを整備する。

提案手法

• 訓練およびテストクラス分布間のFréchet Inception Distance（FID）を用いて、分布シフトの難易度を定量化することで、段階的に難易度を高めた複数の訓練・テスト分割を生成し、ooDMLベンチマークを構築する。
• 広範な適用性と再現性を確保するため、3つの標準DMLベンチマーク（CUB200-2011、CARS196、Stanford Online Products（SOP））を用いる。
• すべての分割で最先端DML手法（例：ArcFace、Multisimilarity、S2SD、DiVA）の性能を評価し、OODシフトの増加に伴う性能低下を分析する。
• テスト分布からのドメイン内サポートサンプルを少量用いて、モデルを推論前に微調整する「少々のDML適応戦略」を導入・評価する。
• 標準的なDML学習目的（例：トリプルット、対照的、プロキシ-ソフトマックス）と正則化技術（自己教師学習、知識蒸留、 adversarial regularization）を用い、OOD条件下での手法設計の影響を隔離する。
• 標準指標（全分割でtop-1精度とmAP@1000）を用いて結果を報告し、統計的信頼性を確保するため信頼区間を併記する。

実験結果

リサーチクエスチョン

• RQ1 訓練データとテストデータの間の分布シフトが大きくなるにつれて、最先端DML手法の性能はどの程度低下するか？
• RQ2 自己教師学習、知識蒸留、 adversarial training などの異なる正則化手法は、分布シフトの増加に伴う性能低下をどの程度緩和できるか？
• RQ3 少々の微調整（few-shot fine-tuning）は、多様でますます困難になる分布シフトにわたって、一貫してOOD一般化性能を向上させることができるか？
• RQ4 標準DMLベンチマークと比較して、提案されたooDMLベンチマークは、分布シフトの難易度と評価の現実性の面でどの程度優れているか？
• RQ5 高シフトのOOD条件下で、DML手法の概念的差異（例：損失関数の設計、プロキシの使用）の相対的影響は何か？

主な発見

• 標準的なDMLベンチマークは、しばしば低水準の分布シフト（低FID）に対応しており、i.i.d.設定に近いものであり、OOD一般化の真の挑戦を過小評価している。
• すべてのDML手法の性能は、訓練・テスト分割間のFIDが上昇するに従い一貫して低下する。CUB200-2011において極端なシフト下では、top-1精度が最大20–25ポイント低下した。
• 評価された手法の中で、S2SDとDiVAは高シフト設定下でも比較的高い性能を示しており、プロキシベースおよび自己教師学習アプローチが分布シフトにわたってより良好に一般化できることを示唆している。
• 少々の微調整は一般化性能を顕著に向上させる。CUB200-2011で5ショットのサポートを用いた場合、S2SDは高シフト（FID ≈ 100）下で86.69%のtop-1精度を達成したのに対し、微調整なしでは81.39%にとどまり、手法にかかわらず一貫した向上が確認された。
• 高OODシフト条件下では、DML手法の概念的設計（例：プロキシの使用、対照的目的関数）の影響が、正則化手法の影響よりも顕著であることが示された。これは、極端なOOD状況下では、アーキテクチャの選択が補助損失よりも重要であることを示している。
• 提案されたooDMLベンチマークは、わずかなドメイン内知識（例：5ショットのサポート）が、メトリクス空間を新しいテスト分布に効果的に適応させられることを明らかにした。これは、少々の適応によるOOD一般化の強力な可能性を示している。