[論文レビュー] Fine-Grained Visual Classification via Progressive Multi-Granularity Training of Jigsaw Patches

Ruoyi Du, Dongliang Chang+5 more|arXiv (Cornell University)|Mar 8, 2020

3D Surveying and Cultural Heritage参考文献 38被引用数 22

ひとこと要約

本稿では、段階的学習戦略とジャイガーパッチ生成器を用いて、複数の視覚的粒度にわたる特徴を学習・統合する、細分化視覚分類のためのプログレッシブ・マルチグレイン（PMG）トレーニングフレームワークを提案する。この手法は、細粒度から粗粒度のパッチへと段階的に学習を進める。ジャイガーパッチ生成器により、各段階で判別性の高い特徴の学習が促進され、CUB、Stanford Cars、FGVC-Aircraftの標準ベンチマークで最先端の性能を達成する。

ABSTRACT

Fine-grained visual classification (FGVC) is much more challenging than traditional classification tasks due to the inherently subtle intra-class object variations. Recent works mainly tackle this problem by focusing on how to locate the most discriminative parts, more complementary parts, and parts of various granularities. However, less effort has been placed to which granularities are the most discriminative and how to fuse information cross multi-granularity. In this work, we propose a novel framework for fine-grained visual classification to tackle these problems. In particular, we propose: (i) a progressive training strategy that effectively fuses features from different granularities, and (ii) a random jigsaw patch generator that encourages the network to learn features at specific granularities. We obtain state-of-the-art performances on several standard FGVC benchmark datasets, where the proposed method consistently outperforms existing methods or delivers competitive results. The code will be available at https://github.com/PRIS-CV/PMG-Progressive-Multi-Granularity-Training.

研究の動機と目的

• 微細分類の課題に対処する。微細分類では、クラス内での微小な変化が正確なサブカテゴリ分類を困難にする。
• 既存手法の限界を克服する。既存手法は判別性の高い部分を検出することに注力しているが、最適な粒度を体系的に特定できず、複数の粒度の特徴を効果的に統合できない。
• 部分アノテーションを必要とせず、複数の粒度にわたる補完的特徴を学習する弱教師付きフレームワークを開発する。
• 段階的学習とジャイガーパッチ生成が、微細分類における特徴学習とモデル一般化能力をどのように相乗的に向上させるかを調査する。

提案手法

• 初期段階で細粒度パッチから開始し、段階的に粗粒度パッチへと移行するプログレッシブトレーニング戦略を提案。各段階のパラメータは、前の段階の重みを初期値として使用する。
• 入力画像を均等に分割したパッチに分け、ランダムにシャッフルして異なる粒度レベルの新しい画像を生成するジャイガーパズル生成器を導入。これにより、各スケールで判別性の高い特徴の学習が促進される。
• 各トレーニング段階で中間監督を適用。モデルはジャイガーパッチで生成された画像の分類を学習させ、複数の粒度にわたる判別性の高い局所領域への注目を促進する。
• 推論時のみ、すべての段階からの特徴を連結することで、複数粒度表現の補完的統合を実現する。
• 部分アノテーションや複雑な後処理を一切不要としない、画像ラベルのみを用いたエンドツーエンドのネットワーク学習を実施する。
• ハイパーパrameter $ n $ を用いて粒度レベルを制御。段階 $ l $ に対して $ n = 2^{L-l+1} $ と定義し、より細かいパッチを初期段階で、より粗いパッチを後続段階で使用するように保証する。

実験結果

リサーチクエスチョン

• RQ1 微細分類画像において、最も判別性の高い特徴はどの粒度に位置するか。また、それらを体系的に特定する方法は何か。
• RQ2 クラス内変動が大きい状況下でも、複数の粒度からの特徴を効果的に統合することで分類性能を向上させることは可能か。
• RQ3 細粒度パッチから開始し、段階的に粗粒度パッチへと移行するプログレッシブトレーニング戦略が、特徴学習とモデル精度を向上させるか。
• RQ4 ジャイガーパッチ生成器が、異なる粒度レベルで判別性の高い局所特徴を学習する能力をどの程度向上させるか。
• RQ5 弱教師付き微細分類で最良の性能を得るために、最適なトレーニング段階数とパッチ粒度レベルは何か。

主な発見

• 提案されたPMGトレーニングフレームワークは、4つのトレーニング段階とジャイガーパッチ生成器を用いることで、CUB-200-2011データセットで89.6%という最先端の精度を達成した（$ n = 8,4,2,1 $）。
• ジャイガーパッチ生成器を用いた場合、$ S = 3 $ 段階でピーク精度88.9%を記録したが、$ S = 4 $ では88.0%、$ S = 5 $ では87.2%に低下し、収益逓減と過小パッチによる劣化の兆候が示された。
• ジャイガーパッチ生成器なしでは、$ S = 3 $ 段階で最高88.3%を記録した。これは、ベースラインのプログレッシブトレーニングに比べて0.6%の有意な向上を示している。
• Grad-CAMの可視化により、提案手法は初期段階で判別性の高い小規模特徴（例：目、羽毛の模様）に注目していることが確認された。一方、最終層でのみ活性化するベースラインとは異なり、後続段階では徐々に大規模特徴に注目が移行する。
• ジャイガーパッチ生成器により、各粒度レベルで意味のある判別性の高い部分を学習することが効果的に促進され、全段階でより包括的かつオブジェクトをカバーする注目マップが得られた。
• パッチ数 $ n > 8 $ の場合、ジャイガーパッチが小さくなりすぎて有用な意味的情報を保持できず、特に深層段階で混乱を引き起こし、性能が低下した。