[論文レビュー] Context Augmentation for Convolutional Neural Networks

Ayşegül Dündar, Ignacio Garcia‐Dorado|arXiv (Cornell University)|Nov 22, 2017

Advanced Neural Network Applications参考文献 24被引用数 3

ひとこと要約

本論文では、前景オブジェクトと背景を分離し、的を射た拡張を適用することで、畳み込みニューラルネットワーク（ConvNets）の文脈に配慮したデータ拡張を提案する。多様な背景の文脈で訓練し、セグメンテーションされた拡張（例：前景のみに適用する反転、平行移動）を用いることで、ラベル付き画像がたった500枚の状況でも、画像分類の精度が25.5％向上し、47.4％から59.5％に上昇することを示した。これは、データが少ない環境において顕著な向上を示している。

ABSTRACT

Recent enhancements of deep convolutional neural networks (ConvNets) empowered by enormous amounts of labeled data have closed the gap with human performance for many object recognition tasks. These impressive results have generated interest in understanding and visualization of ConvNets. In this work, we study the effect of background in the task of image classification. Our results show that changing the backgrounds of the training datasets can have drastic effects on testing accuracies. Furthermore, we enhance existing augmentation techniques with the foreground segmented objects. The findings of this work are important in increasing the accuracies when only a small dataset is available, in creating datasets, and creating synthetic images.

研究の動機と目的

• ラベル付きデータが少ない状況下で、背景の文脈がConvNetの性能に与える影響を調査すること。
• ラベル付きデータが少ない状況における精度の低さという課題を、データ拡張技術の強化によって解決すること。
• 一般化性能の向上を図るため、前景・背景のセグメンテーションを活用した新たな拡張戦略を開発すること。
• 最小限のラベル付きデータで合成データセットの作成やより良いデータの整備を可能にすること。

提案手法

• 著者らは、手動でのパースィングを用いて、STL-10データセットの画像を前景オブジェクトと背景に分離する。
• 同じカテゴリの背景、異なるカテゴリの背景、または平均背景値に置き換えた背景を用いて、前景オブジェクトと組み合わせることで、拡張された訓練データを作成する。
• セグメンテーションされたデータ拡張は、背景を保持したまま、前景オブジェクトに対してのみ変換（反転、平行移動、回転）を適用することで実施する。
• 標準的な拡張技術（例：ランダムな反転、平行移動、回転）を全画像に適用し、ベースライン比較として用いる。
• 標準的拡張とセグメンテーションされた拡張を組み合わせることで、多様性と性能を最大化する。
• STL-10の500枚および5000枚のサブセットを用いて、異なる背景設定と拡張戦略の間で精度を比較する実験を実施する。

実験結果

リサーチクエスチョン

• RQ1 ラベル付きデータが少ない状況下で、背景の文脈はConvNetの精度にどのように影響するか？
• RQ2 前景・背景の分離は、データが少ない画像分類における一般化性能の向上に寄与するか？
• RQ3 標準的拡張とセグメンテーションされた拡張のうち、限られたラベル付きデータと組み合わせた場合、どちらがより高い精度を達成するか？
• RQ4 前景オブジェクトと同じカテゴリの背景を使用するか、異なるカテゴリの背景を使用するかが、モデルの性能に影響を与えるか？

主な発見

• 500枚の画像での訓練で、ベースライン精度は47.4％であったが、標準的およびセグメンテーションされた拡張を組み合わせることで59.5％に向上し、相対的に25.5％の向上を達成した。
• 前景オブジェクトと同じカテゴリの背景を使用した場合、精度は47.4％のベースラインから54.4％に上昇した。
• セグメンテーションされた水平反転を適用した場合、精度は55.4％に上昇し、さらにセグメンテーションされた平行移動を追加することで58.9％まで向上した。
• 最終的なモデルは、回転が性能向上に寄与しなかったため除外したが、すべての有効な拡張を組み合わせることで、500枚の画像で59.5％の精度を達成した。
• 標準的拡張は個別にセグメンテーションされたバージョンを上回ったが、両者を組み合わせることでさらに性能が向上した。
• 背景の文脈は分類に極めて重要な役割を果たす。一部のケースでは、背景そのものが正しく予測するための十分な手がかりを提供していた。