[論文レビュー] You Only Cut Once: Boosting Data Augmentation with a Single Cut

Junlin Han, Pengfei Fang+6 more|arXiv (Cornell University)|Jan 28, 2022

Advanced Neural Network Applications被引用数 11

ひとこと要約

この論文では、画像を高さまたは幅方向に二等分し、それぞれの部分に独立に増幅処理を施した後、再結合する、パラメータフリーなデータ拡張手法であるYou Only Cut Once (YOCO)を提案する。YOCOは、局所的およびグローバルな特徴の多様性を向上させることで、画像分類、対照的事前学習、低レベルビジョンタスクのすべてにおいて性能を向上させ、追加の計算コストなしに標準的な画像レベルの増幅を常に上回る。

ABSTRACT

We present You Only Cut Once (YOCO) for performing data augmentations. YOCO cuts one image into two pieces and performs data augmentations individually within each piece. Applying YOCO improves the diversity of the augmentation per sample and encourages neural networks to recognize objects from partial information. YOCO enjoys the properties of parameter-free, easy usage, and boosting almost all augmentations for free. Thorough experiments are conducted to evaluate its effectiveness. We first demonstrate that YOCO can be seamlessly applied to varying data augmentations, neural network architectures, and brings performance gains on CIFAR and ImageNet classification tasks, sometimes surpassing conventional image-level augmentation by large margins. Moreover, we show YOCO benefits contrastive pre-training toward a more powerful representation that can be better transferred to multiple downstream tasks. Finally, we study a number of variants of YOCO and empirically analyze the performance for respective settings. Code is available at GitHub.

研究の動機と目的

• 画像レベルのデータ拡張には、部分的な情報からオブジェクトを認識させることを十分に促進できないという限界を解決すること。
• 画像レベルではなくピースレベルで増幅処理を実施することで、モデルの汎化性能と耐性が向上するかどうかを調査すること。
• ハイパーパramータや計算コストを追加せずに、多様性を高めるシンプルで即座に統合可能な増幅戦略を開発すること。
• ImageNet、CIFAR、および雨天除去や超解像などの低レベルビジョンタスクを含む、多様なタスク、アーキテクチャ、データセットに対してYOCOを評価すること。

提案手法

• YOCOは、入力画像を高さまたは幅方向に等分して二つのピースに分割する。
• 各ピースは、彩度の変更、水平反転、カットアウトなど、同じデータ拡張処理を独立して適用する。
• 増幅処理が施されたピースを再び結合して、単一の画像に再構成し、モデルの学習に使用する。
• カット方向（高さまたは幅）はサンプルごとにランダムに選択され、追加のパラメータなしに多様性を導入する。
• YOCOはプラグインモジュールとして実装され、既存の増幅パイプラインにスムーズに統合可能である。
• カット比や増幅処理の組み合わせに関する消去実験を含め、画像レベルとピースレベルの増幅戦略を比較評価する。

実験結果

リサーチクエスチョン

• RQ1 YOCOは、標準的な画像レベルの増幅処理と比較して、モデルの汎化性能と耐性をどのように向上させるか？
• RQ2 YOCOはどのような状況で最も効果的であり、どのような条件下で性能が低下する可能性があるか？
• RQ3 YOCOが表現学習をどのように向上させるのか、またどのようなインダクティブバイアスを導入するのか？
• RQ4 YOCOは、低レベルと高レベルビジョンの両方のタスクに普遍的に適用可能か？
• RQ5 YOCOは自己教師付き対照的事前学習と、その後の転移性能を向上させるか？

主な発見

• CIFAR-10およびCIFAR-100では、12種の増幅処理のうち11種でYOCOが性能向上を示し、画像レベルの増幅処理を上回る向上幅を達成した。
• ImageNetでは、一般化性能、部分画像認識、キャリブレーション、 adversarial robustness、汚損耐性、分布シフト耐性の6つの評価指標において、YOCOが画像レベルの増幅処理を上回った。
• MoCo v2およびSimSiamを用いた対照的事前学習では、YOCOがより強力な表現を生成し、下流の分類、オブジェクト検出、インスタンスセグメンテーションタスクの転移性能を向上させた。
• 雨天除去タスクでは、Rain100LベンチマークでPSNRが0.73 dB向上し、低レベルビジョンタスクへの有効性を示した。
• 超解像タスクでは、DIV2K、Set14、Urban100など複数のデータセットにおいて、合成的および現実的設定の両方で、YOCOが画像レベルの増幅処理と同等またはわずかに上回る性能を示した。
• YOCOは顕著な計算コストがなく、ハイパーパramータのチューニングも不要であり、既存の学習パイプラインに無料で即座に統合可能な強化手法である。