[論文レビュー] Attention Convolutional Binary Neural Tree for Fine-Grained Visual Categorization

Ruyi Ji, Longyin Wen+6 more|arXiv (Cornell University)|Sep 25, 2019

Advanced Neural Network Applications参考文献 63被引用数 14

ひとこと要約

本稿では、固定深さの二分木と注目力強化型畳み込みルーティングを活用して粗大から細分化への階層的特徴学習を可能にする、弱教師ありの細分化視覚分類のための注目型畳み込み二値ニューラルツリー（ACNet）を提案する。本手法は、ASPPによるマルチスケール特徴抽出とルーティングモジュール内でのグローバルコンテキストモデリングを組み合わせることで、CUB-200-2011、Stanford Cars、Aircraftデータセットで最先端の性能を達成する。

ABSTRACT

Fine-grained visual categorization (FGVC) is an important but challenging task due to high intra-class variances and low inter-class variances caused by deformation, occlusion, illumination, etc. An attention convolutional binary neural tree architecture is presented to address those problems for weakly supervised FGVC. Specifically, we incorporate convolutional operations along edges of the tree structure, and use the routing functions in each node to determine the root-to-leaf computational paths within the tree. The final decision is computed as the summation of the predictions from leaf nodes. The deep convolutional operations learn to capture the representations of objects, and the tree structure characterizes the coarse-to-fine hierarchical feature learning process. In addition, we use the attention transformer module to enforce the network to capture discriminative features. The negative log-likelihood loss is used to train the entire network in an end-to-end fashion by SGD with back-propagation. Several experiments on the CUB-200-2011, Stanford Cars and Aircraft datasets demonstrate that the proposed method performs favorably against the state-of-the-arts.

研究の動機と目的

• オクルージョン、照明、視点の変化に起因する細分化視覚分類における高いクラス内ばらつきと低いクラス間ばらつきの課題に対処する。
• 高価な部位レベルのアノテーションに依存しない弱教師あり手法を開発する。
• 注目誘導ルーティングを備えた二分木としてネットワークを構造化することで、階層的で判別力のある特徴学習を実現する。
• ツリーアーキテクチャに注目トランスフォーマーとマルチスケールコンテキストモデリングを統合することで、モデル性能を向上させる。

提案手法

• 各ノードがルーティング関数を適用してルートからリーフへの計算パスを決定する固定深さの二分木構造を構築する。
• ツリーのエッジに沿って畳み込み演算を適用し、粗大から細分化のレベルへと階層的特徴を学習する。
• 各ノードに注目トランスフォーマーモジュールを統合し、判別力のある局所領域に注目を集中させ、特徴表現を強化する。
• ルーティングモジュールにグローバル平均プーリング（GAP）とグローバルコンテキストブロックを用いて文脈情報を集約し、意思決定のロバスト性を向上させる。
• 注目トランスフォーマー内にASPP（アトロススパティアルピラミッドプーリング）モジュールを採用し、拡張畳み込みを用いてマルチスケールコンテキストを捉える。
• すべてのリーフノードからの予測をマックス投票で統合し、確率的勾配降下法を用いてエンド・ツー・エンドに全ネットワークを訓練する。

実験結果

リサーチクエスチョン

• RQ1 部位アノテーションが不要な固定深さの二値ニューラルツリーに注目誘導ルーティングを適用することで、細分化視覚分類における特徴の判別力を向上させることができるか？
• RQ2 注目トランスフォーマーとASPPモジュールの統合が、細分化データセットにおける性能にどのように影響を与えるか？
• RQ3 非対称的ツリー構造は、多様な受容野を捉え、精度を向上させる点で対称的設計を上回るか？
• RQ4 グローバルコンテキストモデリングとプーリング戦略（GAP 対 GMP）は、ルーティングモジュールの有効性にどの程度影響を与えるか？
• RQ5 ツリーの各レベルにおける粗大から細分化への階層的特徴学習は、細分化認識タスクにおけるモデル性能をどの程度向上させるか？

主な発見

• 提案されたACNetは、非対称的ツリー構造を用いてCUB-200-2011データセットで87.8%のトップ1精度を達成し、対称的バージョンを1.6%上回る。
• 注目トランスフォーマーモジュールを統合することで、単にルーティングモジュールのみを備えたベースラインと比較して、トップ1精度が平均0.4%向上した。
• 注目トランスフォーマー内での単一畳み込み層をASPPモジュールに置き換えることで、トップ1精度が平均0.5%向上した。
• ルーティングモジュールからグローバルコンテキストブロックを削除すると、トップ1精度が平均0.275%低下し、コンテキスト統合の重要性が示された。
• ルーティングモジュールでグローバル平均プーリング（GAP）をグローバルマックスプーリング（GMP）に置き換えると、精度が0.6%低下し、GAPが文脈情報をより効果的に保持できることを示した。
• 可視化により、異なるリーフノードがそれぞれ異なる判別的部位（頭部、翼、尾部など）に注目していることが確認され、ブランチ間での補完的特徴学習が可能であることが示された。