[論文レビュー] What Happened to My Dog in That Network: Unraveling Top-down Generators in Convolutional Neural Networks

Patrick W. Gallagher, Shuai Tang+1 more|arXiv (Cornell University)|Nov 23, 2015

Domain Adaptation and Few-Shot Learning参考文献 23被引用数 7

ひとこと要約

この論文では、空間的変換（回転、スケーリング、平行移動）を学習された特徴フローとしてモデル化するトップダウン型ジェネレータをCNNに導入し、認識性能を向上させる。既存のネットワーク内にこれらのジェネレータを適用することで、内部的データ拡張、ゼロショット変換推定、画像合成を実現可能とし、追加の訓練後、ImageNetのトップ1正答率を60.15%から60.52%に向上させた。

ABSTRACT

Top-down information plays a central role in human perception, but plays relatively little role in many current state-of-the-art deep networks, such as Convolutional Neural Networks (CNNs). This work seeks to explore a path by which top-down information can have a direct impact within current deep networks. We explore this path by learning and using "generators" corresponding to the network internal effects of three types of transformation (each a restriction of a general affine transformation): rotation, scaling, and translation. We demonstrate how these learned generators can be used to transfer top-down information to novel settings, as mediated by the "feature flows" that the transformations (and the associated generators) correspond to inside the network. Specifically, we explore three aspects: 1) using generators as part of a method for synthesizing transformed images --- given a previously unseen image, produce versions of that image corresponding to one or more specified transformations, 2) "zero-shot learning" --- when provided with a feature flow corresponding to the effect of a transformation of unknown amount, leverage learned generators as part of a method by which to perform an accurate categorization of the amount of transformation, even for amounts never observed during training, and 3) (inside-CNN) "data augmentation" --- improve the classification performance of an existing network by using the learned generators to directly provide additional training "inside the CNN".

研究の動機と目的

• 人間の認識において重要なトップダウン情報が、CNNのようなディープラーニングモデルにどのように統合できるかを調査すること。
• 畳み込み層の特徴空間内で空間的変換（回転、スケーリング、平行移動）をモデル化するジェネレータを学習・適用する手法を開発すること。
• 学習済みジェネレータを用いて、トレーニング時に見られなかった変換量をゼロショットで分類可能にする。
• ジェネレータを用いて変換された特徴を合成することで、内部的データ拡張を実現し、CNNの一般化性能を向上させること。

提案手法

• 各畳み込み層におけるアフィン変換（回転、スケーリング、平行移動）を表すグリッドベースのベクトル場として、学習されたジェネレータをモデル化する。
• 層ℓにおける変換ΔθのジェネレータをGₗ[Δθ]と表記し、初期特徴Fⱼ,ₗ[θ_init]を予測された変換済み特徴Φⱼ,ₗ[θ_init; Δθ]にマッピングする。
• 逆ワープ近似をバックプロパゲーション中に用いることで勾配の一貫性を確保し、逆方向のベクトルは成分を反転させ、空間的位置を逆転させる。
• 内部的データ拡張では、トレーニング中にconv5の特徴に対してランダムなジェネレータ（例：+30°回転、1.3倍スケーリング）を適用し、入力データを変更せずに拡張例をシミュレートする。
• ゼロショット学習では、学習済みジェネレータ応答と一致する特徴フローを照合することで、トレーニング時とは異なる変換量（例：回転角度）を推定可能である。
• 画像合成は、新規入力画像に学習済みジェネレータを適用し、特徴レベルでの操作によって変換されたバージョンを生成することで実現する。

実験結果

リサーチクエスチョン

• RQ1 学習されたジェネレータを用いてトップダウン情報をモデル化することで、標準ベンチマークにおけるCNN性能が向上するか？
• RQ2 ジェネレータを用いることで、トレーニング時に見られなかった変換量の正確な推定が可能か？
• RQ3 ジェネレータを用いた内部的データ拡張により、外部データ拡張なしにCNNの一般化性能が向上するか？
• RQ4 学習済みジェネレータは、未知の入力から変換された画像をどれほど正確に合成できるか？

主な発見

• 提案された内部的データ拡張手法により、AlexNetのImageNetにおけるトップ1バリデーション正答率が、5回の追加トレーニングエポック後、60.15%から60.52%に向上した。
• トップ5正答率は84.35%を達成し、ジェネレータベースの特徴レベル拡張による明確な性能向上が示された。
• ゼロショット変換推定は実現可能であった：モデルは、トレーニング分布外の値（例：回転角度）に対しても、正確に変換量を推定できた。
• ジェネレータを用いた画像合成により、初期特徴に学習済み特徴フローを適用することで、新規画像の妥当な変換バージョンが成功裏に生成された。
• 近似逆ワープ手法により安定したバックプロパゲーションが可能となり、グリッドの不一致にもかかわらず、実証的に良好な勾配の一貫性が確認された。
• トップダウン情報としての学習済みジェネレータを既存のCNNに効果的に統合でき、モデルのロバスト性と一般化性能の向上に寄与することが示された。