[論文レビュー] Effective Vision Transformer Training: A Data-Centric Perspective

Benjia Zhou, Pichao Wang+3 more|arXiv (Cornell University)|Sep 29, 2022

Advanced Neural Network Applications被引用数 4

ひとこと要約

この論文は、Vision Transformers (ViTs) のデータ中心の学習フレームワークを提案し、3つの学習段階—形成、成長、探索—にわたり、サンプルの難易度を動的に調整することで、『効果的』な訓練例を測定および生成する。動的な MixUp 策略とピクセル単位の消去手法（PatchErasing）を導入し、汎化性能を向上させ、DeiT では ≥0.5%、Swin Transformers では ≥0.4% の一貫した精度向上を達成し、最小限の学習オーバーヘッドで実現した。

ABSTRACT

Vision Transformers (ViTs) have shown promising performance compared with Convolutional Neural Networks (CNNs), but the training of ViTs is much harder than CNNs. In this paper, we define several metrics, including Dynamic Data Proportion (DDP) and Knowledge Assimilation Rate (KAR), to investigate the training process, and divide it into three periods accordingly: formation, growth and exploration. In particular, at the last stage of training, we observe that only a tiny portion of training examples is used to optimize the model. Given the data-hungry nature of ViTs, we thus ask a simple but important question: is it possible to provide abundant ``effective'' training examples at EVERY stage of training? To address this issue, we need to address two critical questions, \ie, how to measure the ``effectiveness'' of individual training examples, and how to systematically generate enough number of ``effective'' examples when they are running out. To answer the first question, we find that the ``difficulty'' of training samples can be adopted as an indicator to measure the ``effectiveness'' of training samples. To cope with the second question, we propose to dynamically adjust the ``difficulty'' distribution of the training data in these evolution stages. To achieve these two purposes, we propose a novel data-centric ViT training framework to dynamically measure the ``difficulty'' of training samples and generate ``effective'' samples for models at different training stages. Furthermore, to further enlarge the number of ``effective'' samples and alleviate the overfitting problem in the late training stage of ViTs, we propose a patch-level erasing strategy dubbed PatchErasing. Extensive experiments demonstrate the effectiveness of the proposed data-centric ViT training framework and techniques.

研究の動機と目的

• 大規模なデータを用いても ViT の学習が最適でない理由を、特に後期の学習段階で有効な例が不足していることから解明すること。
• 形成、成長、探索という3つの明確な学習段階の存在を特定および定量化すること。
• 後期段階における有効な訓練例の不足を解消するために、難易度を測定し、動的に高品質な例を生成すること。
• 局所的なピクセルトークンへの過学習を軽減するため、新規のピクセル単位の消去戦略（PatchErasing）を用いて、ViT の後期段階の過学習を緩和すること。
• モデル容量と学習段階に応じて、データ難易度を柔軟に調整できる統合的でデータ中心のフレームワークを構築すること。

提案手法

• 著者らは、動的データ割合（DDP）と知識吸収率（KAR）を定義し、学習段階を客観的に特定する。すなわち、形成段階（簡単なサンプル）、成長段階（中程度のサンプル）、探索段階（難しいサンプル）である。
• サンプルの『有効性』は『難易度』によって測定され、後期段階における知識吸収の観点から、より難しいサンプルがより有効であるとみなされる。
• 現在の学習段階に応じて、訓練データの難易度分布を調整する動的な MixUp 技法を提案し、柔軟に有効な例を生成可能にする。
• PatchErasing は、画像のピクセル領域をランダムに消去し、対応するラベルベクトルを正則化することで、局所的トークンへの過学習を軽減するピクセル単位のデータ拡張戦略として導入された。
• 大規模モデル（例：DeiT-B, Swin-B）には静的難易度スケジューリングを、小規模モデル（例：DeiT-T, DeiT-S）には動的スケジューリングを適用し、学習能力と局所最適解へのリスクに応じて調整する。
• 標準的な ViT 学習に統合可能であり、計算オーバーヘッドは最小限に抑えられ、DeiT および Swin Transformer アーキテクチャ全体で一貫した性能向上が達成された。

実験結果

リサーチクエスチョン

• RQ1 ViT の学習プロセスは、データ利用状況とモデル学習ダイナミクスに基づいて、明確に区別できる進化的段階に分けることができるか？
• RQ2 特にモデル容量と学習段階に応じて、個々の訓練例の『有効性』はどのように測定できるか？
• RQ3 訓練サンプルの難易度を動的に調整することで、特に後期の探索段階において、有効な例の数を増加させることができるか？
• RQ4 ピクセル単位のデータ拡張（PatchErasing）は、局所的画像ピクセルへの過学習を軽減し、ViT の汎化性能を向上させるか？
• RQ5 統合的でデータ中心のフレームワークは、最小限の学習コストで、さまざまなモデルサイズの ViT の性能を一貫して向上させることができるか？

主な発見

• ViT の学習プロセスは、動的データ割合（DDP）と知識吸収率（KAR）に基づき、自然に3段階に分かれる—形成、成長、探索—で、それぞれ異なるデータ利用パターンを示す。
• 最終の探索段階では、訓練例のわずかな割合（難易度が中程度～高いもの）しか最適化に寄与せず、簡単なサンプルはほとんど無視される。これは、データ利用における深刻なボトルネックを示している。
• MixUp を用いた動的な難易度調整により、DeiT-T で +0.4%、DeiT-S で +0.5%、DeiT-B で +0.5% の性能向上が達成された。小規模モデルでは柔軟なスケジューリングのおかげでより良い結果が得られた。
• PatchErasing は、50% のマスク率を用いた場合、大規模モデル（例：DeiT-B）で +0.4% の性能向上を達成し、ピクセル単位の過学習軽減の有効性を示した。
• このフレームワークは、DeiT（グローバルベース）および Swin（ローカルベース）の両方の ViT アーキテクチャで一貫した精度向上を実現し、DeiT では ≥0.5%、Swin Transformers では ≥0.4% の向上を達成した。
• 可視化結果から、PatchErasing はモデルがより多くの物体領域に注目するよう促し、わずかな顕著なピクセル領域への依存を減らし、耐性を向上させた。