[論文レビュー] Deep Boosting: Joint Feature Selection and Analysis Dictionary Learning in Hierarchy

Zhanglin Peng, Ya Li+2 more|arXiv (Cornell University)|Aug 8, 2015

Advanced Image and Video Retrieval Techniques参考文献 27被引用数 3

ひとこと要約

本稿では、画像分類のための階層的な方法で特徴選択と解析辞書学習を共同で行う深層学習フレームワーク、Deep Boostingを提案する。AdaBoostと勾配降下法を繰り返し最適化することで分類誤差と画像再構成を最適化し、深く、コンパクトで判別性の高い表現を構築する。オブジェクト認識および顔の年齢推定ベンチマークにおいて、最高水準の性能を達成し、最大2.4%の精度向上を実現した。

ABSTRACT

This work investigates how the traditional image classification pipelines can be extended into a deep architecture, inspired by recent successes of deep neural networks. We propose a deep boosting framework based on layer-by-layer joint feature boosting and dictionary learning. In each layer, we construct a dictionary of filters by combining the filters from the lower layer, and iteratively optimize the image representation with a joint discriminative-generative formulation, i.e. minimization of empirical classification error plus regularization of analysis image generation over training images. For optimization, we perform two iterating steps: i) to minimize the classification error, select the most discriminative features using the gentle adaboost algorithm; ii) according to the feature selection, update the filters to minimize the regularization on analysis image representation using the gradient descent method. Once the optimization is converged, we learn the higher layer representation in the same way. Our model delivers several distinct advantages. First, our layer-wise optimization provides the potential to build very deep architectures. Second, the generated image representation is compact and meaningful. In several visual recognition tasks, our framework outperforms existing state-of-the-art approaches.

研究の動機と目的

• 従来の画像分類パイプラインを、深層ニューラルネットワークにインspiredした深層アーキテクチャへと拡張すること。
• BoWのような浅いモデルの限界、すなわち空間的情報の損失や判別性の低い辞書学習を解決すること。
• 各層で特徴ブースティングと分析辞書学習を同時に実行する共同最適化フレームワークを開発すること。
• 層間における構成的フィルタ構築を通じて階層的表現学習を可能にすること。
• コンパクトで意味的で判別性の高い特徴表現を通じて、視覚認識タスクのパフォーマンスを向上させること。

提案手法

• 各層で経験的分類誤差と解析ベースの画像再構成の正則化を同時に最小化する層ごとの最適化戦略を採用する。
• 各層で、最も判別性の高い特徴を特定するために、ジェントルAdaBoostアルゴリズムを用いて特徴選択を実行する。
• 勾配降下法を用いて再構成誤差を最小化するようにフィルタ更新を計算し、分析辞書下での訓練画像の再構成を最適化する。
• 収束後、選択されたフィルタを合成し、次の上位層の入力として使用することで、より深い表現を構築する。
• 特徴空間の複雑さと学習時間を削減するため、辞書学習中にモデル圧縮を適用する。
• 空間的ピラミッドマッチングを統合して空間的コンテキストを捉え、特徴変換に畳み込み型符号化を用いる。

実験結果

リサーチクエスチョン

• RQ1 特徴選択と辞書学習を共同で行うことで、従来の画像分類パイプラインを効果的に深層アーキテクチャに拡張できるか？
• RQ2 階層的表現学習フレームワークにおいて、判別性の高い特徴と再構成忠実度をどのように共同で最適化できるか？
• RQ3 層間における構成的フィルタ学習が認識性能に与える影響は何か？
• RQ4 提案手法は、オブジェクト認識および顔の年齢推定の両方で、最先端の手法を上回る性能を達成できるか？
• RQ5 ブースティングと分析辞書学習の統合は、特徴のコンパクトさと解釈可能性をどのように向上させるか？

主な発見

• LHI-Animal-Facesデータセットでは、提案手法が81.5%の分類精度を達成し、2番目に良い手法よりも2.4%の向上を示した。
• MORPH-IIデータセットにおける顔の年齢推定では、MAEが5.61年であり、IIS-LLD（5.67年）やAGES（6.61年）といった最先端手法を上回った。
• オブジェクト認識および年齢推定を含む複数のベンチマークで優れた性能を示し、精度向上と誤差低減が一貫して見られた。
• 累積スコア分析から、年齢推定において0〜10年までの全誤差レベルで、他の手法を上回ることが明らかになった。
• フィルタの階層的構成により、コンパクトで意味的で、非常に判別性の高い画像表現の学習が可能になった。
• 分類と再構成の項を共同で最適化することで、視覚認識タスクにおける一般化性能とロバスト性が向上した。