[論文レビュー] Attribute Mix: Semantic Data Augmentation for Fine Grained Recognition

Hao Li, Xiaopeng Zhang+2 more|arXiv (Cornell University)|Apr 6, 2020

Domain Adaptation and Few-Shot Learning参考文献 46被引用数 4

ひとこと要約

本稿では、2つの画像の判別的属性特徴をピクセルやパッチではなく属性レベルで混合する、細分類画像認識のための意味的データ拡張手法であるAttribute Mixを提案する。サブカテゴリ間で共有される属性を自動で抽出し、粗いラベルしか持たない汎用ドメインの画像を活用することで、モデルの一般化性能を著しく向上させ、推論コストを増加させることなく、CUB-200-2011、Stanford Cars、FGVC-Aircraftの3つのベンチマークで最先端の性能を達成した。

ABSTRACT

Collecting fine-grained labels usually requires expert-level domain knowledge and is prohibitive to scale up. In this paper, we propose Attribute Mix, a data augmentation strategy at attribute level to expand the fine-grained samples. The principle lies in that attribute features are shared among fine-grained sub-categories, and can be seamlessly transferred among images. Toward this goal, we propose an automatic attribute mining approach to discover attributes that belong to the same super-category, and Attribute Mix is operated by mixing semantically meaningful attribute features from two images. Attribute Mix is a simple but effective data augmentation strategy that can significantly improve the recognition performance without increasing the inference budgets. Furthermore, since attributes can be shared among images from the same super-category, we further enrich the training samples with attribute level labels using images from the generic domain. Experiments on widely used fine-grained benchmarks demonstrate the effectiveness of our proposed method.

研究の動機と目的

• 細分類認識における限られた専門家ラベル付きの訓練データの課題に対処すること。
• 細分類分類の低データ環境下でのモデルの一般化性能向上と過学習の低減。
• サブカテゴリ間および汎用ドメイン画像から転送可能な属性特徴を活用して、効果的なデータ拡張を実現すること。
• 既存の最先端モデルと互換性があり、コストが低い汎用的なデータ拡張フレームワークの開発。

提案手法

• 自動で抽出された判別的領域に基づき、2つの画像の意味的に意味のある属性特徴を混合するデータ拡張戦略であるAttribute Mixを提案する。
• 多値属性分類ネットワークにおける反復的マスキング機構を導入し、画像間で多様で判別的な属性を発見する。
• PASCAL VOCなどの汎用ドメイン画像から属性を抽出する際のノイズの多いサンプルをフィルタリングするためにエントロピー順序付けを活用し、誤ったラベルや関係のないデータに対して耐性を高める。
• 特徴の融合度に比例して属性ラベルを混合する方法を採用し、拡張されたサンプルにおける意味的一致性を保持する。
• 「鳥」や「車」などの粗いラベルしか持たない画像を活用して、低コストで訓練データを豊かにする、Attribute Mix+への拡張。
• S3N や MGE-CNN といった最先端モデルと組み合わせても、アーキテクチャの変更なしに性能向上を示し、広範な互換性を確認した。

実験結果

リサーチクエスチョン

• RQ1 Mixup や CutMix といったランダムな混合手法と比較して、2つの画像の属性レベルでの特徴混合は、細分類認識性能を向上させ得るか？
• RQ2 細分類ラベルが不要な状況でも、判別的な属性を自動で発見し、データ拡張に活用できるか？
• RQ3 粗いラベルしか持たない汎用ドメイン画像（例：PASCAL VOC）から得られる属性特徴は、細分類の訓練データ強化にどの程度転送可能か？
• RQ4 エントロピー順序付けは、汎用データセットから属性を抽出する際のノイズや無関係な画像を効果的にフィルタリングできるか？
• RQ5 Attribute Mix は、さまざまな最先端の細分類認識モデルに普遍的に適用可能で、性能向上を実現できるか？

主な発見

• CUB-200-2011では88.4%のトップ1精度を達成し、Mixup（85.9%）やCutMix（86.2%）を2.2ポイント以上上回った。
• Stanford Carsでは94.9%の精度を記録し、ベースラインから3.2ポイント向上し、CutMixを2.6ポイント上回った。
• S3Nと組み合わせた場合、Stanford Carsで95.2%、FGVC-Aircraftで93.4%の精度を達成し、最先端の性能を実現した。
• Attribute Mix+は、PASCAL VOC 07+12の16.3%のノイズのある画像を用いても顕著な性能向上を示し、ラベルノイズに強いことを示した。
• エントロピー順序付け機構により、ノイズの多いサンプルが効果的にフィルタリングされ、τ=1.5の条件下で保持される画像数が11,000から1,833に減少した。
• 推論コストを増加させることなく、複数のベンチマークで性能向上を実現したため、本手法の効率性と一般化能力が裏付けられた。