[論文レビュー] SGNet: A Super-class Guided Network for Image Classification and Object Detection

Kaidong Li, Nina Y. Wang+2 more|arXiv (Cornell University)|Apr 26, 2021

Advanced Neural Network Applications参考文献 35被引用数 5

ひとこと要約

SGNetは、スーパークラスと細分化クラスの二重ブランチ学習を通じて階層的意味的知識を統合することにより、画像分類および物体検出を向上させるスーパークラスガイドドネットワークを提案する。スーパークラスブランチ（SCB）が細分化クラスブランチ（FCB）をガイドする高レベルの意味的クラスタリングを活用することで、SGNetは最小限の計算オーヘッドで一貫した性能向上を達成し、MS COCOにおいてIoU=0.50で最大1.1%のAP向上を実現する。

ABSTRACT

Most classification models treat different object classes in parallel and the misclassifications between any two classes are treated equally. In contrast, human beings can exploit high-level information in making a prediction of an unknown object. Inspired by this observation, the paper proposes a super-class guided network (SGNet) to integrate the high-level semantic information into the network so as to increase its performance in inference. SGNet takes two-level class annotations that contain both super-class and finer class labels. The super-classes are higher-level semantic categories that consist of a certain amount of finer classes. A super-class branch (SCB), trained on super-class labels, is introduced to guide finer class prediction. At the inference time, we adopt two different strategies: Two-step inference (TSI) and direct inference (DI). TSI first predicts the super-class and then makes predictions of the corresponding finer class. On the other hand, DI directly generates predictions from the finer class branch (FCB). Extensive experiments have been performed on CIFAR-100 and MS COCO datasets. The experimental results validate the proposed approach and demonstrate its superior performance on image classification and object detection.

研究の動機と目的

• 標準のCNNが意味的階層を活用せずにすべてのクラスを同等に扱うという制限を解消すること。
• トレーニング中にスーパークラスからの高レベルの意味的知識を組み込むことで、モデルの汎化性能とロバスト性を向上させること。
• より粗い、意味的に意味のあるカテゴリで細分化クラスの予測をガイドすることで、より良い特徴学習を実現すること。
• 既存の分類および検出モデルと互換性のあるプラグアンドプレイアーキテクチャを設計すること。
• CIFAR-100およびMS COCOを含む多様なベンチマークにおいて、スーパークラスガイドの有効性を検証すること。

提案手法

• スーパークラスブランチ（SCB）を高レベルの意味的カテゴリで学習し、細分化クラスブランチ（FCB）を詳細な分類に使用する二重ブランチアーキテクチャを導入する。
• SCBとFCBの両方でバックボーン特徴抽出器を共有しながら、各ブランチに個別の分類ヘッドを維持する。
• 二段階のトレーニング戦略を採用し、SCBとFCBの両方をクロスエントロピー損失で同時に最適化し、SCBでの誤分類にはより高いペナルティを課す。
• 二段階推論（TSI）と直接推論（DI）の二つの推論戦略を適用する。TSIはまずスーパークラスを予測し、その後に細分化クラスを予測する。DIはFCBから直接細分化クラスの予測を出力する。
• Faster R-CNNフレームワークを拡張し、分類ヘッドを94クラス（12のスーパークラス＋81の細分化クラス）に出力可能にし、SCBとFCBのそれぞれに別々の損失成分を設ける。
• 安定したトレーニングを実現するため損失値を[0,1]に正規化し、初期値10⁻²の学習率を採用し、5エポックごとに減衰させる戦略を用いる。

実験結果

リサーチクエスチョン

• RQ1 スーパークラスの意味的情報を統合することで、画像分類および物体検出モデルの汎化性能とロバスト性を向上させることができるか？
• RQ2 高レベルの意味的特徴で細分化クラスの予測をガイドすることで、従来の並列分類よりも優れた性能が得られるか？
• RQ3 共有バックボーンと二重監視を備えた二ブランチアーキテクチャが収束性と推論精度に与える影響は何か？
• RQ4 スーパークラスガイドが、小さなIoU閾値や大規模物体検出においてどの程度性能を向上させるか？
• RQ5 提案手法は、VGG-16 や Faster R-CNN といった既存モデルに最小限のアーキテクチャ変更で効果的に適用可能か？

主な発見

• SGNetは、元のVGG-16と比較してMS COCOで平均精度（AP）を0.6%向上させ、IoU=0.50では1.1%の向上を達成した。
• 大規模物体に対して優れた性能を示し、大規模物体のAPが40.3%から41.2%に0.9%向上した。
• SGNetでは、特に初期トレーニング段階で、標準のVGG-16よりも損失の収束が速い。
• SGNetのサイズと推論時間（43.4ms）は、元のVGG-16（43.0ms）とほぼ同一であり、推論オーヘッドが最小限であることが示された。
• SGNetはMS COCOで29.2のAPを達成し、ベースラインのVGG-16（28.6 AP）を上回り、すべてのAP指標で一貫した向上を示した。
• 本手法は画像分類（CIFAR-100）および物体検出（MS COCO）の両方で有効であり、広範な適用可能性を示した。