[論文レビュー] OpenMixup: Open Mixup Toolbox and Benchmark for Visual Representation Learning

Siyuan Li, Zedong Wang+6 more|arXiv (Cornell University)|Sep 11, 2022

Domain Adaptation and Few-Shot Learning被引用数 4

ひとこと要約

OpenMixupは、視覚的表現学習におけるミックスアップデータ拡張を対象とした、包括的で包括的なベンチマークと統合されたオープンソースフレームワークを初めて提供する。12種類の多様なデータセットを用いた標準化された大規模な評価を可能にし、動的ミックスアップ手法（例：AutoMix、SAMix）が静的手法に比べ、より優れた耐性、訓練安定性、および転送可能性を示すことが明らかになった。一方で、バックボーンやアーキテクチャ間での互換性と効率性のトレードオフも浮き彫りにした。

ABSTRACT

Mixup augmentation has emerged as a widely used technique for improving the generalization ability of deep neural networks (DNNs). However, the lack of standardized implementations and benchmarks has impeded recent progress, resulting in poor reproducibility, unfair comparisons, and conflicting insights. In this paper, we introduce OpenMixup, the first mixup augmentation codebase, and benchmark for visual representation learning. Specifically, we train 18 representative mixup baselines from scratch and rigorously evaluate them across 11 image datasets of varying scales and granularity, ranging from fine-grained scenarios to complex non-iconic scenes. We also open-source our modular codebase, including a collection of popular vision backbones, optimization strategies, and analysis toolkits, which not only supports the benchmarking but enables broader mixup applications beyond classification, such as self-supervised learning and regression tasks. Through experiments and empirical analysis, we gain observations and insights on mixup performance-efficiency trade-offs, generalization, and optimization behaviors, and thereby identify preferred choices for different needs. To the best of our knowledge, OpenMixup has facilitated several recent studies. We believe this work can further advance reproducible mixup augmentation research and thereby lay a solid ground for future progress in the community. The source code and user documents are available at \url{https://github.com/Westlake-AI/openmixup}.

研究の動機と目的

• 視覚的表現学習におけるミックスアップ手法の評価に向けた標準化された包括的ベンチマークの欠如に対処すること。
• 多様なミックスアップ技術の一貫した実装、訓練、評価を可能にする統合的・モジュラー的・拡張可能なコードベースの提供。
• バックボーン選択やデータ分布などの交絡要因を制御した、12種類の多様な画像データセットにおける大規模かつ公平な比較。
• ミックスアップポリシー、ネットワークアーキテクチャ、データセット特性がモデルのパフォーマンスと一般化に与える影響を実証的に分析すること。
• より耐性があり、効率的で、転送性に優れたミックスアップベースの手法の今後の開発に役立つインサイトの提供。

提案手法

• OpenMixupフレームワークは、静的（例：Mixup、CutMix）および動的（例：AutoMix、SAMix、Co-Mixup）手法を含む幅広いミックスアップアルゴリズムを、1つのモジュラーな訓練パイプラインに統合している。
• CNN、ViT、効率的ネットワークを含む複数のバックボーンとモジュールをサポートしており、モデルアーキテクチャを横断した系統的なアブレーションが可能である。
• 交絡要因の調整（例：ミキシング比、データ分割、増幅スケジュール）を可能にする制御された評価を可能にし、公平な比較を実現している。
• 局所化能と下流タスクへの転送可能性を評価するためのクラスアクティビティマッピング（CAM）可視化を含む、モデル分析ツールキットを備えている。
• ベンチマークは、ImageNet-1K、Places205、FGVC-Aircraftを含む12の多様な画像分類データセットで評価され、標準化された訓練プロトコルが適用されている。
• フレームワークはオープンソースであり、拡張可能であり、今後の新規ミックスアップ手法やオブジェクト検出などの下流タスクへの統合をサポートしている。

実験結果

リサーチクエスチョン

• RQ1 静的と動的の両方のミックスアップポリシーが、多様なデータセットにおいて、精度、耐性、訓練安定性の観点でどのように比較されるか？
• RQ2 バックボーンアーキテクチャの選択が、ミックスアップ手法のパフォーマンスと一般化にどのように影響するか？
• RQ3 ミックスアップ手法はどの程度下流の検出タスクに転送可能であり、特に局所化能に優れたものはどれか？
• RQ4 ミックスアップ手法の間で、計算効率、互換性、パフォーマンスの間にはどのようなトレードオフがあるか？
• RQ5 データセット固有の特性（例：クラス不均衡、画像の複雑さ）が、ミックスアップ戦略の有効性にどのように影響するか？

主な発見

• 動的ミックスアップ手法（例：AutoMix、SAMix）は、大多数のデータセットで静的手法を上回り、バックボーン選択に対して優れた耐性とより良い訓練安定性を示した。
• AutoMixとSAMixは、優れた耐性と収束性を示し、大多数の静的手法に比べて高いトップ-1精度とより安定した訓練曲線を達成した。
• 静的Mixup（Zhang et al., 2018）は、低い精度であるものの、凸補間の性質に起因して優れた訓練安定性を示した。
• CutMix（Yun et al., 2019）は、現代的なCNN（例：ConvNeXt、ResNeXt）とViT（例：DeiT）の両方と高い互換性を示し、広範な適用可能性を示した。
• ViT特化の動的手法（例：TransMix、TokenMix）は、小さなViT（DeiT-S）では非常に優れたパフォーマンスを示したが、より大きなまたはより小さなバージョン（例：PVT-T）では著しく性能が低下した。これは、モデルスケールに極めて敏感であることを示している。
• AutoMixとSAMixはCAM可視化により優れた局所化能を示し、検出タスクへの転送において階層的利点があると考えられるが、計算コストが高めである。