[論文レビュー] Repaint: Improving the Generalization of Down-Stream Visual Tasks by Generating Multiple Instances of Training Examples

Amin Banitalebi-Dehkordi, Yong Zhang|arXiv (Cornell University)|Oct 20, 2021

Advanced Neural Network Applications参考文献 40被引用数 4

ひとこと要約

本稿では、物体の形状や構造を保持しながら、異なるテクスチャや色のバリエーションを持つトレーニング画像のバージョンを生成するデータ拡張手法 Repaint を提案する。画像を異なる照明、季節、色に再描画することで、複数のアーキテクチャやデータスケールにおいて、画像分類や物体検出などの下流タスクにおける汎化性能を向上させる。

ABSTRACT

Convolutional Neural Networks (CNNs) for visual tasks are believed to learn both the low-level textures and high-level object attributes, throughout the network depth. This paper further investigates the `texture bias' in CNNs. To this end, we regenerate multiple instances of training examples from each original image, through a process we call `repainting'. The repainted examples preserve the shape and structure of the regions and objects within the scenes, but diversify their texture and color. Our method can regenerate a same image at different daylight, season, or weather conditions, can have colorization or de-colorization effects, or even bring back some texture information from blacked-out areas. The in-place repaint allows us to further use these repainted examples for improving the generalization of CNNs. Through an extensive set of experiments, we demonstrate the usefulness of the repainted examples in training, for the tasks of image classification (ImageNet) and object detection (COCO), over several state-of-the-art network architectures at different capacities, and across different data availability regimes.

研究の動機と目的

• 畳み込みニューラルネットワーク（CNN）におけるテクスチャバイアスを調査し、視覚認識においてモデルが形状よりもテクスチャに依存する傾向にあること。
• 新しいデータ拡張戦略を導入することで、深層ネットワークにおける過学習や一般化性能の低さを是正すること。
• 物体の構造を変更せずに、意味的に整合的で視覚的に多様なトレーニング例を生成する手法を開発すること。
• さまざまなネットワークアーキテクチャとデータスケールにおいて、画像分類および物体検出タスクのモデルのロバスト性と性能を向上させること。
• Repainted データが、既存のトレーニングパイプラインと互換性があり、一般用途で利用可能な直交的拡張手法としての有効性を示すこと。

提案手法

• 軽量でトレーニング可能な生成モデル（GANに基づく）を用い、入力画像のテクスチャや色を置き換えながらも、物体の形状や空間的配置を保持する「リペイント」を実行する。
• 弱教師ありまたは教師なしのインスタンスセグメンテーションマスク（例：DeepLab-v2 や Felzenszwalb-Huttenlocher）を用いて、領域ごとのリペイントをガイドする。
• 下流タスク（例：分類や検出）と同時にエンドツーエンドで学習することで、タスクに適したテクスチャの多様性を最適化する生成モジュールを訓練する。
• リペイントされた画像を拡張されたトレーニングデータとして適用し、新たなアノテーションを必要とせずにデータセットの多様性を高める。
• 変分的生成プロセスを用いて、1枚の元画像から複数の異なるリペイントバージョンを生成し、データ拡張の能力を向上させる。
• 微分可能でインラインの拡張レイヤーとしてリペイントモジュールを統合し、分類モデルおよび検出モデルの両方と互換性を確保する。

実験結果

リサーチクエスチョン

• RQ1 形状を保持しつつ、多様なテクスチャや色にリペイントした画像を用いることで、下流の視覚タスクにおける汎化性能が向上するか？
• RQ2 標準的なデータ拡張と比較して、さまざまなネットワークアーキテクチャにおける性能向上の程度はどのようになるか？
• RQ3 ImageNet や COCO の 1% や 10% のような低データレジームにおいて、本手法がより大きな向上をもたらすか？
• RQ4 リペイントプロセスに使用するセグメンテーションマスクの品質に、性能向上がどれほど依存するか？
• RQ5 アーキテクチャの変更なしに、画像分類および物体検出タスクの両方に対して、本手法が効果的に適用可能か？

主な発見

• ImageNet におけるトップ-1精度は、MobileNetv2 から ResNet-50 までのさまざまなモデルで +0.58% から +0.99% の向上を示し、DeepLab-v2 マスクを用いた平均では +0.77% の向上を達成した。
• COCO 物体検出タスクでは、EfficientDet モデルを対象に mAP@0.50:0.95 が +1.10% から +1.59% 向上し、DeepLab-v2 マスクを用いた平均で +1.22% の向上を示した。
• 低データレジームでは最も大きな向上を示した：ImageNet では 1% のデータでのトップ-1精度が +4.09% 向上し、COCO では 1% データで mAP が +4.14% 向上した。
• 低品質のセグメンテーションマスク（例：FH）を用いても、性能向上は安定しており、ImageNet で平均 +0.64%、COCO で平均 +0.96% の向上を示した。
• 計算オーバーヘッドは管理可能であり、分類タスクではトレーニング時間を約 66% 延長し、検出タスクでは約 53% 延長するが、モデル圧縮や選択的適用により低減可能である。
• リペイントされたサンプルにより、モデルがよりロバストな特徴を学習でき、特に低データ環境下で過学習が減少し、分布シフト下でも一般化性能が向上していることが裏付けられた。