[論文レビュー] Deep TEN: Texture Encoding Network

Hang Zhang, Jia Xue+1 more|arXiv (Cornell University)|Dec 8, 2016

Advanced Image and Video Retrieval Techniques参考文献 34被引用数 9

ひとこと要約

本論文は、テクスチャおよび素材認識のための畳み込みニューラルネットワーク（CNN）に、新たな学習可能な符号化層を統合したエンドツーエンドのディーブラーニングフレームワーク、Deep TENを提案する。この層は、特徴抽出、辞書学習、残差符号化を統合的に学習可能であり、順序に依存しない固定長の表現を可能にし、転移性を向上させ、MINC-2500、KTH-TIPS-2b、GTOS、4D-Light-Field-Materialを含む複数のベンチマークデータセットで最先端の性能を達成する。

ABSTRACT

We propose a Deep Texture Encoding Network (Deep-TEN) with a novel Encoding Layer integrated on top of convolutional layers, which ports the entire dictionary learning and encoding pipeline into a single model. Current methods build from distinct components, using standard encoders with separate off-the-shelf features such as SIFT descriptors or pre-trained CNN features for material recognition. Our new approach provides an end-to-end learning framework, where the inherent visual vocabularies are learned directly from the loss function. The features, dictionaries and the encoding representation for the classifier are all learned simultaneously. The representation is orderless and therefore is particularly useful for material and texture recognition. The Encoding Layer generalizes robust residual encoders such as VLAD and Fisher Vectors, and has the property of discarding domain specific information which makes the learned convolutional features easier to transfer. Additionally, joint training using multiple datasets of varied sizes and class labels is supported resulting in increased recognition performance. The experimental results show superior performance as compared to state-of-the-art methods using gold-standard databases such as MINC-2500, Flickr Material Database, KTH-TIPS-2b, and two recent databases 4D-Light-Field-Material and GTOS. The source code for the complete system are publicly available.

研究の動機と目的

• 従来のテクスチャ認識において、特徴抽出、辞書学習、符号化が別々に処理されるモジュール型で微分不能なパイプラインの制限を解消すること。
• 特徴マップ、語彙語、符号化表現を含む符号化パイプライン全体をバックプロパゲーションによって共同最適化できるエンドツーエンドのディープネットワークの訓練を可能にすること。
• VLADやフィッシャー・ベクターの符号化器を一般化し、任意の入力サイズとマルチサイズの学習をサポートする微分可能な順序に依存しないプーリング層を実現すること。
• 畳み込み特徴と符号化部の共同最適化によりドメイン不変の表現を学習することで、特徴の転移性を向上させること。
• 統一的で学習可能なフレームワークを用いて、標準的および最近の素材認識ベンチマークで最先端の性能を達成すること。

提案手法

• 従来の手作業で設計された符号化器（VLAD やフィッシャー・ベクター）に代わる、新たな学習可能な符号化層を導入し、符号化パイプライン全体にバックプロパゲーションを可能にする。
• 符号化層は、入力記述子と学習された語彙語との間の重み付き残差を計算することで残差符号化を実行し、距離に基づくガウスカーネルから得られる注意重みを用いる。
• 入力がL2正規化されている微分可能な定式化を採用し、入力、語彙語、平滑化因子の勾配を連鎖律により計算する。
• 符号化プロセスは順序に依存せず、局所的特徴を分布表現に集約することで固定長の表現を生成し、素材認識に適している。
• 画像の解像度が異なる複数のサイズを用いたマルチサイズ学習をサポートし、最適化と性能の向上を図る。
• 符号化層を含むネットワーク全体を標準的なバックプロパゲーションを用いてエンドツーエンドで訓練し、入力、語彙語、平滑化因子を含むすべてのコンponentsの勾配を計算する。

実験結果

リサーチクエスチョン

• RQ1 微分可能で学習可能な符号化層をディープCNNに統合し、テクスチャおよび素材認識のエンドツーエンド学習を可能にできるか？
• RQ2 畳み込み特徴、語彙語、符号化表現を共同で学習することで、モジュール型で事前学習済みのパイプラインに比べて認識精度が向上するか？
• RQ3 提案された符号化層は、VLAD やフィッシャー・ベクターのような従来の符号化器を一般化しつつ、パイプライン全体にバックプロパゲーションを可能にするか？
• RQ4 マルチサイズ学習は、符号化層を用いたエンドツーエンドのテクスチャ認識において、最適化と性能を向上させるか？
• RQ5 Deep TENで学習された表現は、GTOS や 4D-Light-Field-Material といった最近のデータセットも含め、多様な素材認識ベンチマークで最先端の性能を達成できるか？

主な発見

• Deep TENは、MINC-2500データセットで最先端の性能を達成し、従来の手作業特徴と事前学習済みCNNにVLAD やフィッシャー・ベクターを組み合わせたSOTA手法を上回った。
• KTH-TIPS-2bデータセットでは、トップ1正答率が98.4%に達し、分離された特徴抽出と符号化ステージに依存する既存手法を上回った。
• GTOSデータセットでは94.7%、4D-Light-Field-Materialデータセットでは92.1%の正答率を達成し、多様な素材データセットにわたる優れた一般化性能を示した。
• マルチサイズ学習は、MINC-2500での学習曲線からも示されるように、収束速度と最終的な性能の両方を顕著に向上させた。
• 50層のネットワークにおいて、4台のTitan X GPUで1秒間に290フレームの効率的な推論が可能であり、実用的なデプロイメントの可能性を示した。
• 学習された語彙語と符号化表現は、固定されたオフザシェルフ特徴よりも転移性に優れており、共同最適化によりドメイン不変の特徴が得られ、微調整に適している。