[論文レビュー] Multi-branch and Multi-scale Attention Learning for Fine-Grained Visual Categorization

Fan Zhang, Meng Li+2 more|arXiv (Cornell University)|Mar 20, 2020

Advanced Neural Network Applications参考文献 28被引用数 18

ひとこと要約

本論文は、境界ボックスやパーツアノテーションを必要とせず、判別的なオブジェクトおよびパーツ領域を学習する、マルチブランチでマルチスケールな注目メカニズムを備えたMMAL-Netを提案する。注目オブジェクト局在モジュール（AOLM）と注目パーツプロポーザルモジュール（APPM）を用いることで、複数スケールのオブジェクトおよびパーツ画像を生成し、共有重みをもつマルチブランチネットワークで共同学習することで、先行手法よりも高速な推論を実現しつつ、最先端の精度を達成する。

ABSTRACT

ImageNet Large Scale Visual Recognition Challenge (ILSVRC) is one of the most authoritative academic competitions in the field of Computer Vision (CV) in recent years. But applying ILSVRC's annual champion directly to fine-grained visual categorization (FGVC) tasks does not achieve good performance. To FGVC tasks, the small inter-class variations and the large intra-class variations make it a challenging problem. Our attention object location module (AOLM) can predict the position of the object and attention part proposal module (APPM) can propose informative part regions without the need of bounding-box or part annotations. The obtained object images not only contain almost the entire structure of the object, but also contains more details, part images have many different scales and more fine-grained features, and the raw images contain the complete object. The three kinds of training images are supervised by our multi-branch network. Therefore, our multi-branch and multi-scale learning network(MMAL-Net) has good classification ability and robustness for images of different scales. Our approach can be trained end-to-end, while provides short inference time. Through the comprehensive experiments demonstrate that our approach can achieves state-of-the-art results on CUB-200-2011, FGVC-Aircraft and Stanford Cars datasets. Our code will be available at https://github.com/ZF1044404254/MMAL-Net

研究の動機と目的

• 微細な視覚分類（FGVC）における課題に対処すること。特に、クラス間で小さな違いとクラス内での大きな変動が分類を困難にする。
• 判別的な領域の局在に、高価な境界ボックスやパーツアノテーションに依存しないこと。
• オブジェクトおよびパーツ領域からのマルチスケール特徴を効果的に捉えるエンドツーエンドでトレーニング可能なネットワークを開発すること。
• 既存の弱教師あり手法と同等またはそれ以上の性能を維持しつつ、モデルの複雑さと推論時間を低減すること。

提案手法

• 本手法は、3つのブランチ（元の画像、AOLMからのオブジェクト画像、APPMからのパーツ画像）で構成される共有重みを持つマルチブランチネットワークを採用する。
• 注目オブジェクト局在モジュール（AOLM）は、カテゴリラベルと特徴マップのみを用いてオブジェクトの境界ボックスを予測し、追加のトレーニングやパラメータを必要としない。
• 注目パーツプロポーザルモジュール（APPM）は、活性化マップに基づいて複数の判別的なパーツ領域を特定するが、パーツアノテーションは不要である。
• オブジェクトおよびパーツ画像は、それぞれAOLMおよびAPPMを用いて元の画像から生成され、マルチスケール特徴学習のためにネットワークに供給される。
• すべてのブランチはクロスエントロピー損失を用い、同じCNNおよび全結合層を共有しており、パラメータ効率の高いエンドツーエンド学習が可能である。
• 推論時においては、オブジェクトブランチのみを用いるため、計算量と推論時間が著しく削減される。

実験結果

リサーチクエスチョン

• RQ1 境界ボックスやパーツアノテーションを必要としない弱教師あり手法が、微細な視覚分類で最先端の性能を達成できるか？
• RQ2 マルチスケールおよびマルチブランチ学習は、微細な分類における特徴表現力とロバストネスをどのように向上させるか？
• RQ3 注目に基づく局在およびパーツプロポーザルモジュールは、追加の監視なしにカテゴリラベルのみでエンドツーエンドで学習可能か？
• RQ4 ブランチ間でパラメータを共有することで、パラメータ数を増やさずにモデル効率と性能が向上するか？
• RQ5 本手法は、既存のマルチブランチまたはプロポーザルベースのモデルと比較して、推論速度と精度の両面で優れているか？

主な発見

• MMAL-Netは、CUB-200-2011、FGVC-Aircraft、Stanford Carsの各データセットで最先端の性能を達成し、先行手法を上回った。
• オブジェクト局在モジュール（AOLM）は、CUB-200-2011で85.1%のPCP（正しく局在化されたパーツの割合）を達成し、SCDA（76.8%）、ACOL（46.0%）、ADL（62.3%）を上回った。
• パラメータ数を同じくするまま、ResNet-50ベースラインと比較して4.1%の精度向上を達成した。
• Tesla P100上で1枚あたり1.80 msの推論時間であり、NTS-Net（5.61 ms）やRA-CNNよりも顕著に高速であった。これは単一ブランチ推論によるものである。
• 可視化により、AOLMおよびAPPMが、鳥の頭部や体など、人間の認識と整合する最も判別的な領域を正しく局在化していることが確認された。
• アブレーションスタディの結果、3つのブランチ（元の画像、オブジェクト、パーツ）すべてが最終精度に顕著な寄与をしており、オブジェクトおよびパーツブランチがスケールのロバストネスを向上させていることが示された。