[論文レビュー] Semantic Bilinear Pooling for Fine-Grained Recognition

Xinjie Li, Chun Yang+3 more|arXiv (Cornell University)|Apr 3, 2019

Advanced Neural Network Applications参考文献 30被引用数 4

ひとこと要約

本論文では、階層的ラベル構造と双一次プーリングを統合する2本のブランチからなる深層学習フレームワーク、意味的双一次プーリング（SBP）を提案する。一般化交差エントロピー損失を用いた粗大から細分化への訓練戦略により、特徴の区別能が向上し、推論のオーバーヘッドなしに4つのベンチマークデータセットで最先端の精度を達成する。

ABSTRACT

Naturally, fine-grained recognition, e.g., vehicle identification or bird classification, has specific hierarchical labels, where fine categories are always harder to be classified than coarse categories. However, most of the recent deep learning based methods neglect the semantic structure of fine-grained objects and do not take advantage of the traditional fine-grained recognition techniques (e.g. coarse-to-fine classification). In this paper, we propose a novel framework with a two-branch network (coarse branch and fine branch), i.e., semantic bilinear pooling, for fine-grained recognition with a hierarchical label tree. This framework can adaptively learn the semantic information from the hierarchical levels. Specifically, we design a generalized cross-entropy loss for the training of the proposed framework to fully exploit the semantic priors via considering the relevance between adjacent levels and enlarge the distance between samples of different coarse classes. Furthermore, our method leverages only the fine branch when testing so that it adds no overhead to the testing time. Experimental results show that our proposed method achieves state-of-the-art performance on four public datasets.

研究の動機と目的

• 微細分類の課題に対処する。ここでは、クラス間の微細な差異とクラス内での変動が正確な分類を困難にしている。
• 深層学習モデルに階層的意味的ラベル構造（例：メーカーとモデル）を統合し、特徴学習を向上させる。
• 訓練中に意味的事前知識を活用するが、推論時には細分化ブランチのみを用いることで効率的な推論を実現する2本のブランチネットワーク（粗大ブランチと細分化ブランチ）を開発する。
• 粗大クラス間の区別能を高めるために、階層的ラベル構造をモデル化する一般化交差エントロピー損失を設計する。
• モデルの複雑さや推論時間の増加なしに、複数の微細分類ベンチマークで最先端の性能を達成する。

提案手法

• 粗大ブランチ（階層的ラベルの監視用）と細分化ブランチ（最終分類用）の2本のCNNアーキテクチャを提案する。
• C-NetとF-Netの2つの別々のストリームからの特徴マップを用いて双一次プーリングを適用し、高次元の特徴相互作用を捉える。
• 隣接する階層レベル間のラベル関連性をモデル化し、粗大クラス間のマージンを拡大する一般化交差エントロピー損失を導入する。
• 訓練の安定化と一般化性能の向上のため、双一次プーリング後に符号付き平方根とL2正規化を適用する。
• 推論時には細分化ブランチのみを保持し、標準モデルと比較して追加の計算コストが発生しない。
• 訓練プロセスに階層的ラベルツリー（例：メーカー→モデル）を統合し、意味的事前知識を用いて特徴学習をガイドする。

実験結果

リサーチクエスチョン

• RQ1 階層的ラベル構造は、深層学習モデルにおいて微細分類の向上に有効に活用可能か？
• RQ2 2本のブランチネットワークによる粗大から細分化への監視を組み込むことで、特徴の区別能とモデルの精度にどのような影響を与えるか？
• RQ3 ラベル階層をモデル化する一般化交差エントロピー損失は、標準的な交差エントロピーと比較して、どの程度性能向上に寄与するか？
• RQ4 推論時間やモデルの複雑さを増加させることなく、双一次プーリングと意味的事前知識を効果的に組み合わせられるか？
• RQ5 提案手法は、標準的な微細分類ベンチマークで、既存の最先端手法を上回る性能を発揮するか？

主な発見

• 提案手法は、CompCarsで97.8%、Stanford Carsで94.3%、CUB-200-2011で88.9%、FG-WILDBERGで91.7%の精度を達成し、これらのベンチマークですべての先行手法を上回った。
• 双一次プーリングにおける次元削減にiSQRT-COVを用いることで最良の性能が得られ、CompCarsでは97.0%、Aircraftsでは91.1%の精度を達成した。
• 一般化交差エントロピー損失は、2本のブランチ構造単体よりも、特に粗大クラス間の誤分類を低減する点で、性能向上により顕著に寄与した。
• 推論時には細分化ブランチのみを用いることで、推論効率を維持し、ベースラインモデルと比較して追加の計算コストが発生しなかった。
• 2段階の階層構造のみを用いているにもかかわらず、4段階の階層と追加の畳み込み層を用いるHSE [8] よりもStanford Carsで0.7%高い精度を達成した。
• 可視化結果から、本手法の注目マップは、CBP [19] よりもより頑健で、特徴的な部分に集中していることが示された。特にポーズや背景の変化に強い。