[論文レビュー] Deep Mean Maps.

Junier B. Oliva, Danica J. Sutherland+2 more|arXiv (Cornell University)|Nov 13, 2015

Generative Adversarial Networks and Image Synthesis参考文献 36被引用数 5

ひとこと要約

本論文では、特徴分布とディープ畳み込みニューラルネットワーク（CNN）を統合的に活用する新しいフレームワーク、Deep Mean Maps（DMMs）を提案する。DMMsは、CNNに微分可能平均マップ層を埋め込むことで、画像分類のための特徴分布のエンドツーエンド学習を可能にする。既存アーキテクチャへのシンプルで効率的な統合により、実世界のデータセットにおいて最先端の性能向上を達成した。

ABSTRACT

The use of distributions and high-level features from deep architecture has become commonplace in modern computer vision. Both of these methodologies have separately achieved a great deal of success in many computer vision tasks. However, there has been little work attempting to leverage the power of these to methodologies jointly. To this end, this paper presents the Deep Mean Maps (DMMs) framework, a novel family of methods to non-parametrically represent distributions of features in convolutional neural network models. DMMs are able to both classify images using the distribution of top-level features, and to tune the top-level features for performing this task. We show how to implement DMMs using a special mean map layer composed of typical CNN operations, making both forward and backward propagation simple. We illustrate the efficacy of DMMs at analyzing distributional patterns in image data in a synthetic data experiment. We also show that we extending existing deep architectures with DMMs improves the performance of existing CNNs on several challenging real-world datasets.

研究の動機と目的

• ディープ特徴の分布表現とエンドツーエンドディープラーニングの間のギャップを埋めること。
• 特徴分布と上位レベルの特徴を同時に最適化して画像を分類する手法を開発すること。
• 標準的なCNN演算を用いて平均マップ層を埋め込むことで、前方伝搬と逆伝搬を効率的に行えるようにすること。
• 合成データおよび実世界の実験を通じて、DMMsが画像データ内の分布パターンを効果的に捉えられることを示すこと。

提案手法

• DMMsは、カーネル法を用いて非パrametricに特徴分布を表現する専用の平均マップ層を導入する。
• 畳み込み、バッチ正則化、ReLUなどの標準的なCNN演算を用いて平均マップ層を実装し、エンドツーエンド学習を可能にする。
• フレームワークにより、上位レベル特徴の分布に基づく分類と、トレーニング中のこれらの特徴の適応的チューニングの両方が可能になる。
• 標準的な計算グラフ演算を用いて平均マップ層を通じた勾配を表現することで、逆伝搬を簡素化する。
• アーキテクチャの大幅な見直しを必要とせず、既存のCNNアーキテクチャにスムーズに統合可能である。
• 通常のCNN演算の使用により、特徴分布の推論と最適化を微分可能に実現できる。

実験結果

リサーチクエスチョン

• RQ1 ディープラーニングフレームワークは、CNNにおける特徴の分布表現とエンドツーエンド学習を効果的に統合できるか？
• RQ2 特徴分布モデリングを統合することで、実世界の画像データセットにおける分類性能がどのように向上するか？
• RQ3 標準的なCNNコンponentsを用いて微分可能な平均マップ層を構築でき、前方および逆伝搬が効率的に行えるか？
• RQ4 DMMsが、複雑またはノイズの多い状況下でも画像データ内の分布パターンを捉える影響は何か？
• RQ5 DMMsは、アーキテクチャの変更なしに、既存のCNNをどの程度向上できるか？

主な発見

• 合成データ実験を通じて、DMMsが分布シフトに感受性を示すことが確認され、画像データ内の分布パターンを効果的に捉えていることが裏付けられた。
• 既存のCNNにDMMsを拡張することで、複数の困難な実世界データセットで一貫した性能向上が得られた。
• 標準的なCNN演算の使用により、DMMsの深層アーキテクチャへの統合は効率的かつ標準的なトレーニングパイプラインと互換性がある。
• 平均マップ層により、上位レベル特徴の分布に基づく分類と、それら特徴のエンドツーエンドチューニングが可能となり、モデルの適応性が向上した。
• アーキテクチャの再設計を要せず、高レベル特徴の分布を活用することで、分類タスクにおいて最先端の性能向上を達成した。