[論文レビュー] Three-branch and Mutil-scale learning for Fine-grained Image Recognition (TBMSL-Net)

Fan Zhang, Guisheng Zhai+2 more|arXiv (Cornell University)|Mar 20, 2020

Advanced Neural Network Applications参考文献 11被引用数 16

ひとこと要約

本論文では、アテンションベースのオブジェクト位置特定モジュール（AOLM）とアテンションベースのパーツ提案モジュール（APPM）を用いて、アノテーションなしでオブジェクト中心およびパーツ特化型の領域を生成する、マルチブランチ・マルチスケール学習フレームワークであるTBMSL-Netを提案する。本手法は、raw画像、オブジェクトクロップド画像、パーツクロップド画像の3種類の画像タイプを、エンド・トゥ・エンドで訓練可能なネットワークを介して統合的に学習することで、CUB-200-2011、FGVC-Aircraft、Stanford Carsで最先端の性能を達成し、高速な推論を実現する。

ABSTRACT

ImageNet Large Scale Visual Recognition Challenge (ILSVRC) is one of the most authoritative academic competitions in the field of Computer Vision (CV) in recent years. But applying ILSVRC's annual champion directly to fine-grained visual categorization (FGVC) tasks does not achieve good performance. To FGVC tasks, the small inter-class variations and the large intra-class variations make it a challenging problem. Our attention object location module (AOLM) can predict the position of the object and attention part proposal module (APPM) can propose informative part regions without the need of bounding-box or part annotations. The obtained object images not only contain almost the entire structure of the object, but also contains more details, part images have many different scales and more fine-grained features, and the raw images contain the complete object. The three kinds of training images are supervised by our multi-branch network. Therefore, our multi-branch and multi-scale learning network(MMAL-Net) has good classification ability and robustness for images of different scales. Our approach can be trained end-to-end, while provides short inference time. Through the comprehensive experiments demonstrate that our approach can achieves state-of-the-art results on CUB-200-2011, FGVC-Aircraft and Stanford Cars datasets. Our code will be available at this https URL

研究の動機と目的

• 微細分類視覚分類（FGVC）の課題に対処すること。特に、クラス間の微小な差異とクラス内の大規模な変動が性能を妨げる要因となる。
• ボクシングボックスやパーツレベルのアノテーションに依存しないように、エンド・トゥ・エンドでオブジェクトおよびパーツの位置を学習すること。
• raw画像、オブジェクトクロップド画像、パーツクロップド画像を用いたマルチスケールおよびマルチブランチ学習により、モデルのロバスト性と特徴の豊かさを向上させること。
• 最小限の監視情報と高速な推論を伴いながら、標準的なFGVCベンチマークで最先端の性能を達成すること。

提案手法

• アテンションベースのオブジェクト位置特定モジュール（AOLM）は、ボクシングボックスアノテーションを必要とせず、画像内のオブジェクトの空間的位置を予測する。
• アテンションベースのパーツ提案モジュール（APPM）は、パーツレベルのアノテーションを必要とせず、識別的な局所特徴に焦点を当てた情報豊富なパーツ領域の提案を生成する。
• raw画像、オブジェクトクロップド画像、パーツクロップド画像という3つの異なる画像タイプを、マルチブランチネットワークの入力として用い、統合的な学習を実施する。
• マルチブランチおよびマルチスケール学習ネットワーク（MMAL-Net）は、ブランチ間の特徴を統合することで、分類精度とスケール不変性を向上させる。
• ネットワーク全体をエンド・トゥ・エンドで訓練することで、異なるレベルの監視情報にわたる効率的かつ効果的な特徴学習が可能になる。
• 本フレームワークは高速な推論を想定しており、実世界の展開に適している。

実験結果

リサーチクエスチョン

• RQ1 微細分類認識において、ボクシングボックスアノテーションやパーツアノテーションなしで、エンド・トゥ・エンドで訓練可能なネットワークがオブジェクトおよびパーツを局所化できるか？
• RQ2 マルチブランチ・マルチスケール学習は、クラス内変動が著しい微細分類データセットで性能をどのように向上させるか？
• RQ3 raw画像に加えてオブジェクトクロップド画像およびパーツクロップド画像を用いることで、分類精度にどの程度の寄与があるか？
• RQ4 ゼロショットまたは弱教師付きFGVC設定において、アテンションベースのモジュールは従来の領域提案手法を上回ることができるか？
• RQ5 標準的なFGVCベンチマークにおいて、本手法は最先端のモデルと比較してどの程度の性能を示すか？

主な発見

• 提案されたTBMSL-Netは、パーツアノテーションを一切使用せずにCUB-200-2011データセットで最先端の性能を達成した。
• FGVC-Aircraftデータセットでは、微細な変動を示す多様な航空機クラスに対して、優れた汎化性能とロバスト性を示した。
• Stanford Carsベンチマークの結果は、微細な視覚的カテゴリを扱うモデルの有効性を裏付けた。
• アブレーションスタディの結果、マルチブランチ学習によりraw画像、オブジェクトクロップド画像、パーツクロップド画像を統合することで、単一ブランチベースラインに比べて顕著な精度向上が達成された。
• モデルは高速な推論時間を達成しており、マルチブランチアーキテクチャを有しながらも、リアルタイム応用に適していることが示された。
• コードは公開される予定であり、弱教師付き微細分類認識分野における再現性とさらなる研究を促進する。