[論文レビュー] Self-informed neural network structure learning

David Warde-Farley, Andrew Rabinovich+1 more|arXiv (Cornell University)|Dec 20, 2014

Domain Adaptation and Few-Shot Learning参考文献 6被引用数 13

ひとこと要約

この論文では、視覚的に類似したクラスのクラスタに特化する補助全結合層を追加することで、大規模なマルチラベル視覚認識タスクにおける事前学習済みディープニューラルネットワークの性能を向上させる手法を提案する。モデル自身の予測を用いてラベル類似度をスペクトルクラスタリングし、乗算加算演算数が3%未満増加する範囲で平均平均精度（mAP）を2.61ポイント向上させた。

ABSTRACT

We study the problem of large scale, multi-label visual recognition with a large number of possible classes. We propose a method for augmenting a trained neural network classifier with auxiliary capacity in a manner designed to significantly improve upon an already well-performing model, while minimally impacting its computational footprint. Using the predictions of the network itself as a descriptor for assessing visual similarity, we define a partitioning of the label space into groups of visually similar entities. We then augment the network with auxilliary hidden layer pathways with connectivity only to these groups of label units. We report a significant improvement in mean average precision on a large-scale object recognition task with the augmented model, while increasing the number of multiply-adds by less than 3%.

研究の動機と目的

• 推論コストを著しく増加させることなく、大規模でマルチラベルな視覚認識タスクにおける事前学習済みディープニューラルネットワークの性能を向上させること。
• 一般化ネットワークが区別しにくい微細なクラスや長尾クラスを認識する課題に対処すること。
• モデル自身の予測を活用して意味的に類似したラベルグループを同定し、知的かつターゲットに特化したネットワーク容量拡張を行う手法を開発すること。
• 計算コストを最小限に抑えつつ、構造に配慮した容量拡張により、性能向上を最大化すること。

提案手法

• 訓練済みネットワークの保証データセットにおける予測を用いて、クラス間類似度を捉える誤り行列を計算する。
• 誤り行列に対してスペクトルクラスタリングを適用し、ラベル空間を視覚的に類似したクラスのグループに分割する。
• 元のネットワークと並列に、各スタックが特定の出力ユニットクラスタにのみ接続される補助全結合ネットワークスタックを追加する。
• 事前学習済みネットワークの特徴量は固定し、トレーニング中は新しい補助ヘッドと最終分類器層のみを微調整する。
• アーキテクチャは、各ラベルクラスタ内での識別性能向上を図りつつ、元のモデルの一般化性能を維持するように学習する。
• ネットワーク全体の再トレーニングを避けるのではなく、新しいパスを効果的に活用する方法を学習に集中させる。

実験結果

リサーチクエスチョン

• RQ1 視覚的に類似したクラスのサブセットをターゲットにした低コストの専用パスを追加することで、事前学習済みニューラルネットワークを向上させられるか？
• RQ2 モデル自身の予測を用いてラベルクラスタを定義することで、ランダムまたはヒューリスティックなラベルグループ化よりも高い性能が得られるか？
• RQ3 このようなターゲットを絞った容量拡張により、長尾クラスおよび微細クラスにおける平均平均精度（mAP）を計算コストを最小限に抑えつつ向上させられるか？
• RQ4 異なるクラスタリング戦略やネットワーク構成に対しても、性能向上が一貫して得られるか？

主な発見

• 提案手法はJFT-18Bデータセットで39.41%の平均平均精度（mAP）を達成し、ベースモデルの36.80%から2.61ポイント向上した。
• 乗算加算演算数は2.6%増加にとどまり、1.52Bから1.56Bに増加した。
• ランダムラベル分割ベースライン（同じ容量制約下で32.97% mAP）を著しく上回った。
• 13個のヘッドを用いた共検出ベースクラスタリングを用いた場合、38.07% mAPを達成し、依然としてランダムベースライン（32.13%）とベースモデルを上回った。
• モデル予測に基づく自己情報に基づくラベルクラスタリングが、ランダムまたはメタデータ駆動のグループ化よりも、より効果的な容量活用を実現することが示された。
• この手法は、入力モalityに依存せずモデル予測のみに依存するため、コンピュータビジョンを越えた他の分野へも一般化して応用可能である。