[論文レビュー] TDAPNet: Prototype Network with Recurrent Top-Down Attention for Robust Object Classification under Partial Occlusion

Xiao Ming-qing, Adam Kortylewski+4 more|arXiv (Cornell University)|Sep 9, 2019

Advanced Neural Network Applications参考文献 28被引用数 18

ひとこと要約

TDAPNetは、部分的遮蔽下でのオブジェクト分類のロバスト性を向上させるためのプロトタイプベースのネットワークを導入し、再帰的トップダウン注目を組み合わせる。プロトタイプ学習、注目誘導型部分一致、トップダウンフィードバック制御を統合することで、遮蔽による汚染を低減し、特徴の一般化を向上させ、部分的遮蔽MNISTおよびPASCAL3D+データセットで顕著な精度向上を達成する。

ABSTRACT

Despite deep convolutional neural networks' great success in object classification, it suffers from severe generalization performance drop under occlusion due to the inconsistency between training and testing data. Because of the large variance of occluders, our goal is a model trained on occlusion-free data while generalizable to occlusion conditions. In this work, we integrate prototypes, partial matching and top-down attention regulation into deep neural networks to realize robust object classification under occlusion. We first introduce prototype learning as its regularization encourages compact data clusters, which enables better generalization ability under inconsistent conditions. Then, attention map at intermediate layer based on feature dictionary and activation scale is estimated for partial matching, which sifts irrelevant information out when comparing features with prototypes. Further, inspired by neuroscience research that reveals the important role of feedback connection for object recognition under occlusion, a top-down feedback attention regulation is introduced into convolution layers, purposefully reducing the contamination by occlusion during feature extraction stage. Our experiment results on partially occluded MNIST and vehicles from the PASCAL3D+ dataset demonstrate that the proposed network significantly improves the robustness of current deep neural networks under occlusion. Our code will be released.

研究の動機と目的

• クリーンなトレーニングデータと遮蔽付きテストデータ間の分布シフトによって引き起こされる深層畳み込みニューラルネットワーク（CNN）の一般化失敗を解消すること。
• クラス固有の特徴クラスタをコンactに保つように促すプロトタイプ学習を導入することで、トレーニングデータへの過剰適合を回避すること。
• 遮蔽物による特徴汚染を低減するために、トップダウン注目フィードバックを用いて特徴抽出段階での汚染を抑制すること。
• 学習された注目マップを用いて、遮蔽されていない情報量の多い部分に注目することで、遮蔽下でも効果的なプロトタイプマッチングを可能にすること。
• トレーニング時に遮蔽データを必要とせず、未観測の遮蔽パターンにも一般化可能な手法を開発すること。

提案手法

• 分布シフト下でも一般化を向上させるために、特徴抽出後にプロトタイプ学習を適用し、特徴クラスタを正則化する。
• 活性化スケールと学習済みの特徴辞書を用いて、pool-4層で注目マップを推定し、情報量の多い遮蔽されていないオブジェクト部を特定する。
• 注目マップを2段階で適用する：まずトップダウンフィードバック制御として、低層での遮蔽由来の異常を抑制し、次に部分一致のためのフィルタリングに用いる。
• 高レベルの意味的情報を低層に伝播させる再帰的トップダウン注目機構を導入し、初期畳み込み層での汚染を低減する。
• 分類には特徴とプロトタイプ間のユークリッド距離を用いるが、注目ベースの特徴選択とトップダウンの最適化を経てから適用する。
• 遮蔽なしデータ上でエンドツーエンドにネットワークを訓練するが、トレーニング時に遮蔽増強を必要としない。

実験結果

リサーチクエスチョン

• RQ1 トレーニング時に遮蔽データを必要としない条件下でも、プロトタイプ学習が部分的遮蔽下での深層ネットワークの一般化を改善できるか？
• RQ2 注目メカニズムをどのように活用すれば、遮蔽されていない情報量の多いオブジェクト部に注目し、遮蔽下でも効果的な部分一致を実現できるか？
• RQ3 トップダウンフィードバック注目が、初期畳み込み層での遮蔽由来汚染をどの程度低減できるか？
• RQ4 プロトタイプ学習、注目ベースの部分一致、トップダウン制御の統合が、遮蔽オブジェクト分類ベンチマークで顕著な性能向上をもたらすか？
• RQ5 1クラスあたり複数のプロトタイプを用いることで、視点変化に起因するオブジェクト外観の空間的ばらつきをモデルがよりよく捉えるようになるか？

主な発見

• TDAPNetは、ベースラインモデルと比較して、部分的遮蔽MNISTおよびPASCAL3D+データセットで顕著な分類精度向上を示し、未観測の遮蔽パターンに対してもロバストであることを実証した。
• 1クラスあたり4つのプロトタイプを用いることで、1つのプロトタイプよりも優れた性能を達成しており、複数のプロトタイプが視点変化に起因する空間的ばらつきをよりよく捉えられることを示している。
• 活性化スケールと特徴辞書から推定された注目マップは、遮蔽物への注目を効果的に低減し、オブジェクト部への注目を強化することで、部分一致性能を向上させた。
• トップダウン再帰処理により、pool-4層での活性化差が最大80％まで低減され、汚染の抑制効果が確認された。
• 1回のトップダウン再帰処理を経た最終的な注目マップは、情報量の多い遮蔽されていない領域に最も洗練された注目を示しており、遮蔽物や背景への注目は最小限に抑えられていた。
• トレーニング時にいかなる遮蔽データも使用しなかったにもかかわらず、強力な性能を達成したことで、未観測の遮蔽パターンへの一般化能力が裏付けられた。