[論文レビュー] Deep Semantic Dictionary Learning for Multi-label Image Classification

Fengtao Zhou, Sheng Huang+1 more|arXiv (Cornell University)|Dec 23, 2020

Advanced Image and Video Retrieval Techniques参考文献 43被引用数 13

ひとこと要約

本稿では、マルチラベル画像分類のためのエンドツーエンドモデルである深層意味的辞書学習（DSDL）を提案する。DSDLは、深層辞書学習を用いてラベル空間、意味的空間、視覚的空間を統合する。クラスレベルの意味的情報を自動エンコーダを用いて生成した意味的辞書から得られ、CNN特徴量はラベル埋め込みによって表現される。DSDLはPASCAL VOCおよびCOCOベンチマークで最先端の性能を達成し、ResNet101ベースのモデルよりもmAPで最大4.6%高い性能を示した。

ABSTRACT

Compared with single-label image classification, multi-label image classification is more practical and challenging. Some recent studies attempted to leverage the semantic information of categories for improving multi-label image classification performance. However, these semantic-based methods only take semantic information as type of complements for visual representation without further exploitation. In this paper, we present an innovative path towards the solution of the multi-label image classification which considers it as a dictionary learning task. A novel end-to-end model named Deep Semantic Dictionary Learning (DSDL) is designed. In DSDL, an auto-encoder is applied to generate the semantic dictionary from class-level semantics and then such dictionary is utilized for representing the visual features extracted by Convolutional Neural Network (CNN) with label embeddings. The DSDL provides a simple but elegant way to exploit and reconcile the label, semantic and visual spaces simultaneously via conducting the dictionary learning among them. Moreover, inspired by iterative optimization of traditional dictionary learning, we further devise a novel training strategy named Alternately Parameters Update Strategy (APUS) for optimizing DSDL, which alternately optimizes the representation coefficients and the semantic dictionary in forward and backward propagation. Extensive experimental results on three popular benchmarks demonstrate that our method achieves promising performances in comparison with the state-of-the-arts. Our codes and models have been released at {https://github.com/ZFT-CQU/DSDL}.

研究の動機と目的

• 画像に複雑な空間的配置や相互作用を持つ複数のオブジェクトが含まれるマルチラベル画像分類の課題に対処すること。
• 従来の手法が意味的情報を視覚的特徴の補助的側面として扱う一方で、ラベル、意味的、視覚的空間間の相関関係をモデル化しないという限界を克服すること。
• エンドツーエンドの辞書学習を通じて、同時にラベル、意味的、視覚的表現を活用し、調和をとらせる深層学習フレームワークを開発すること。
• バックプロパゲーション中に表現係数と意味的辞書を交互に最適化する新しいトレーニング戦略を導入すること。

提案手法

• DSDLは、クラスレベルの意味的情報を自動エンコーダを用いて学習した意味的辞書から得られる辞書学習問題としてマルチラベル画像分類を定式化する。
• CNNによって抽出された視覚的特徴量は、学習済みの意味的辞書を用いた辞書照合によりスパース係数として表現される。
• 視覚的再構成とラベル予測を同時に最適化するために、再構成項と分類項を組み合わせた損失関数を最小化する。
• 新規の交互パrameter更新戦略（APUS）により、順伝播で表現係数を更新し、逆伝播で意味的辞書を最適化する。
• 意味的辞書は単語埋め込みから初期化され、トレーニング中にエンドツーエンドで微調整され、視覚的特徴空間と整合される。
• 本手法は辞書学習をバックプロパゲーションプロセスに統合し、意味的辞書の学習をパラメータ更新に暗黙的に埋め込む。

実験結果

リサーチクエスチョン

• RQ1 深層辞書学習は、マルチラベル画像分類においてラベル、意味的、視覚的空間を効果的に統合できるか？
• RQ2 学習済みの辞書を通じて意味的情報を統合することで、それを補助情報として扱う場合と比較して性能が向上するか？
• RQ3 表現係数と意味的辞書の間で交互最適化を実施することで、モデルの収束性と精度にどのような影響を与えるか？
• RQ4 標準的なマルチラベルベンチマークにおいて、提案されたDSDLモデルは最先端手法と比較してどうなるか？

主な発見

• PASCAL VOC 2007データセットでは、DSDLはDELT、ML-GCN、CoPと比較してそれぞれ3.3%、0.9%、0.6%高いmAPを達成したが、バックボーンはより単純である。
• PASCAL VOC 2012では、DSDLが最高のmAPを記録し、2番目に良い手法よりも1.0%高い性能を示し、全オブジェクトカテゴリでトップモデルとほぼ同等の性能を発揮した。
• COCOデータセットでは、DSDLが最高のmAP、CF1、OF1スコアを達成し、ALLケースで76.7%のmAPと79.1%のOF1を記録した。これは、単純なResNet101よりもmAPで4.4%高い。
• COCOでは、DSDLはResNet-SRN、ResNet101-ACfs、CoPと比較してそれぞれ4.6%、4.2%、0.6%高いmAPを達成し、一貫した優位性を示した。
• アブレーションスタディの結果、ハイパーパramータ λ と β が変化してもモデルは安定しており、VOCでは λ=10、β=10⁻⁴、COCOでは λ=0.1、β=10⁻⁶が最適な設定であることが判明した。
• 明示的な辞書損失（β=0）がなくてもモデルは有効であるため、APUS戦略が最適化プロセスに暗黙的に辞書学習を埋め込んでいることが示された。