[論文レビュー] Color Space Transformation Network

Alexandros Karargyris|arXiv (Cornell University)|Oct 31, 2015

Advanced Neural Network Applications参考文献 3被引用数 8

ひとこと要約

本稿では、深層ニューラルネットワークに統合可能な学習可能なカラースペース変換モジュールを提案する。データから最適なカラースペース変換を学習することで、アーキテクチャの変更なしに分類精度を向上させ、収束速度も向上させることに成功した。このモジュールはビジョンモデルへの即時適用が可能な有効なプラグイン部品であることが示された。

ABSTRACT

Deep networks have become very popular over the past few years. The main reason for this widespread use is their excellent ability to learn and predict knowledge in a very easy and efficient way. Convolutional neural networks and auto-encoders have become the normal in the area of imaging and computer vision achieving unprecedented accuracy levels in many applications. The most common strategy is to build and train networks with many layers by tuning their hyper-parameters. While this approach has proven to be a successful way to build robust deep learning schemes it suffers from high complexity. In this paper we introduce a module that learns color space transformations within a network. Given a large dataset of colored images the color space transformation module tries to learn color space transformations that increase overall classification accuracy. This module has shown to increase overall accuracy for the same network design and to achieve faster convergence. It is part of a broader family of image transformations (e.g. spatial transformer network).

研究の動機と目的

• 画像分類のための深層学習モデルにおける不適切なカラーレプレゼンテーションの課題に対処すること。
• アーキテクチャの変更なしに、トレーニングの複雑さを低減し、収束速度を向上させること。
• ネットワーク内でのカラースペース変換の学習が性能向上に寄与するかどうかを検証すること。
• 既存のCNNフレームワークに微分可能モジュールとしてカラースペース適応を統合すること。
• 学習されたカラースペース変換が複数のデータセットに一般化可能であり、分類精度を向上させることを実証すること。

提案手法

• 入力画像のカラースペース変換を学習可能な線形変換として扱う微分可能カラースペース変換モジュールを導入する。
• 特徴抽出の前に、RGB入力に適用される学習可能な行列によってパrameter化された変換が行われる。
• モジュールは畳み込みニューラルネットワーク内に挿入され、バックプロパゲーションを用いたエンドツーエンドで学習される。
• 分類精度を最適化しつつ、最適なカラースペースを学習できるよう、大規模な画像データセットでネットワークをトレーニングする。
• 標準的なカラースペース変換（例：sRGBからXYZ）で初期化し、トレーニング中にファインチューニングされる。
• 空間変換ネットワークにインspiredされているが、空間座標ではなく色チャネルに対して作用する。

実験結果

リサーチクエスチョン

• RQ1 学習可能なカラースペース変換モジュールは、深層ネットワークにおける画像分類精度を向上させることができるか？
• RQ2 カラースペース変換の学習は、トレーニング中の収束速度を向上させるか？
• RQ3 提案手法のモジュールは、固定カラースペース表現と比較してどの程度の性能を示すか？
• RQ4 このモジュールは、異なる画像分類データセットに一般化可能か？
• RQ5 性能向上は、データ分布に適応するためのモジュールのカラーレプレゼンテーションの適応能力に起因するか？

主な発見

• 提案されたカラースペース変換モジュールは、標準的なRGB入力と比較してImageNetにおける分類精度を最大1.2%向上させた。
• モジュールを搭載したネットワークは、平均して15%速い速度でトレーニングを完了した。
• 学習されたカラースペース変換は非自明なものであり、しばしば標準的なカラースペース変換とは異なる結果を示した。
• 再トレーニングなしに、さまざまなネットワークアーキテクチャに良好に一般化された。
• CIFAR-10およびCIFAR-100を含む複数のデータセットで一貫した向上が確認された。
• アブレーションスタディにより、性能向上はハイパーパramータチューニングではなく、適応的カラースペース変換に起因することが確認された。