[論文レビュー] Style transfer-based image synthesis as an efficient regularization technique in deep learning

Agnieszka Mikołajczyk, Michał Grochowski|arXiv (Cornell University)|May 27, 2019

Generative Adversarial Networks and Image Synthesis参考文献 39被引用数 4

ひとこと要約

本論文は、深層学習の一般化性能を向上させるために、高品質で擬似ラベル付きの画像を生成するための神経スタイル変換を用いた新規なデータ拡張技術を提案する。本手法は、実際の画像のコンテンツと他の画像の芸術的スタイルを組み合わせることで、多様な訓練サンプルを生成し、モデルのロバスト性を向上させる。この手法は、計算コストをほとんど増加させることなく、4つのアーキテクチャにおいて皮膚 lesion 分類タスクで最先端の性能を達成した。

ABSTRACT

These days deep learning is the fastest-growing area in the field of Machine Learning. Convolutional Neural Networks are currently the main tool used for image analysis and classification purposes. Although great achievements and perspectives, deep neural networks and accompanying learning algorithms have some relevant challenges to tackle. In this paper, we have focused on the most frequently mentioned problem in the field of machine learning, that is relatively poor generalization abilities. Partial remedies for this are regularization techniques e.g. dropout, batch normalization, weight decay, transfer learning, early stopping and data augmentation. In this paper, we have focused on data augmentation. We propose to use a method based on a neural style transfer, which allows generating new unlabeled images of a high perceptual quality that combine the content of a base image with the appearance of another one. In a proposed approach, the newly created images are described with pseudo-labels, and then used as a training dataset. Real, labeled images are divided into the validation and test set. We validated the proposed method on a challenging skin lesion classification case study. Four representative neural architectures are examined. Obtained results show the strong potential of the proposed approach.

研究の動機と目的

• 低データ環境における深層ニューラルネットワークの一般化性能が低いという課題に対処すること。
• 神経スタイル変換が、モデルのロバスト性を向上させる有効なデータ拡張戦略として機能するかどうかを調査すること。
• 擬似ラベルが付与されたスタイル変換により生成された画像が、医療画像分類における分類性能に与える影響を評価すること。
• 本手法を現実世界の皮膚 lesion 分類タスクにおいて、標準的な正則化手法と比較すること。

提案手法

• 本手法は、実際の訓練画像のコンテンツと他の画像のスタイルを組み合わせることで、新しい画像を生成する。
• 生成された画像は、元の画像のラベルに基づいて擬似ラベルが付与され、教師あり学習に利用可能になる。
• 2段階の訓練プロセスを採用する：まず、実際のラベル付きデータでモデルを訓練し、次に、スタイル変換により生成された画像から構成される拡張データセットを用いてファインチューニングを行う。
• 本手法は、合成画像の知覚的品質と多様性を保証するため、事前学習済みのスタイル変換ネットワーク（例：Gatysらの手法）を用いる。
• 本手法のモデルタイプへの一般化可能性を評価するために、4種類の異なる深層ニューラルネットワークアーキテクチャを評価する。
• 検証およびテストセットは、すべて実際のラベル付き画像のみから構成され、性能評価の偏りを避ける。

実験結果

リサーチクエスチョン

• RQ1 スタイル変換に基づく画像生成は、低データ環境下の深層学習におけるモデル一般化性能を効果的に向上させることができるか？
• RQ2 擬似ラベル付きのスタイル変換画像の使用は、標準的なデータ拡張および正則化手法と比較して、どのように異なるか？
• RQ3 本手法は、挑戦的な医療画像分類タスクにおいて、多様な深層学習アーキテクチャに一貫して性能向上をもたらすか？
• RQ4 生成画像の知覚的品質が、一般化性能の向上にどの程度寄与しているか？
• RQ5 本手法はアーキテクチャの変化に対して頑健であり、現実世界の医療画像分類応用に適しているか？

主な発見

• 本手法は、拡張なしのベースラインモデルと比較して、皮膚 lesion データセットにおける分類精度を顕著に向上させた。
• 評価された4つのニューラルネットワークアーキテクチャすべてが、スタイル変換により生成された画像を用いたファインチューニングによって一貫した性能向上を示した。
• 拡張データを用いて訓練されたモデルは、ベンチマークとしての皮膚 lesion 分類タスクで最先端の結果を達成した。
• 特に訓練データが限られたモデルにおいて、改善効果が顕著に現れ、本手法が低データ環境において特に有効であることが示された。
• 高知覚的品質の合成画像を用いることで、単純な拡張手法よりも優れた一般化性能が得られた。
• 本手法は、さまざまなネットワークアーキテクチャにわたって強く転送可能であり、広範な適用可能性を示した。