[論文レビュー] Knowledge-Embedded Representation Learning for Fine-Grained Image Recognition

Tianshui Chen, Liang Lin+3 more|ArXiv.org|Jul 2, 2018

Domain Adaptation and Few-Shot Learning参考文献 19被引用数 10

ひとこと要約

本稿では、細分化された属性の知識グラフをゲーテッド・グラフニューラルネットワークとゲーテッド統合メカニズムを介して深層ニューラルネットワークに統合する、新規なフレームワークである知識埋め込み表現学習（KERL）を提案する。画像特徴量をグラフ内の特定の属性と整合させることで、Caltech-UCSD Birds-200-2011データセットにおいてSOTAの86.6%のトップ1正解率を達成し、関連する重要な属性に対応する判別的領域を強調する特徴マップを生成する。

ABSTRACT

Humans can naturally understand an image in depth with the aid of rich knowledge accumulated from daily lives or professions. For example, to achieve fine-grained image recognition (e.g., categorizing hundreds of subordinate categories of birds) usually requires a comprehensive visual concept organization including category labels and part-level attributes. In this work, we investigate how to unify rich professional knowledge with deep neural network architectures and propose a Knowledge-Embedded Representation Learning (KERL) framework for handling the problem of fine-grained image recognition. Specifically, we organize the rich visual concepts in the form of knowledge graph and employ a Gated Graph Neural Network to propagate node message through the graph for generating the knowledge representation. By introducing a novel gated mechanism, our KERL framework incorporates this knowledge representation into the discriminative image feature learning, i.e., implicitly associating the specific attributes with the feature maps. Compared with existing methods of fine-grained image classification, our KERL framework has several appealing properties: i) The embedded high-level knowledge enhances the feature representation, thus facilitating distinguishing the subtle differences among subordinate categories. ii) Our framework can learn feature maps with a meaningful configuration that the highlighted regions finely accord with the nodes (specific attributes) of the knowledge graph. Extensive experiments on the widely used Caltech-UCSD bird dataset demonstrate the superiority of our KERL framework over existing state-of-the-art methods.

研究の動機と目的

• 従来の細分化認識手法が、構造化された高レベルの知識を活用しないまま、低レベルの視覚的ヒントに依存しているという限界を是正すること。
• 専門的知識（例：部位レベルの属性、カテゴリ関係）を、特徴学習の向上を目的として、深層ニューラルネットワークに体系的に統合する方法を探ること。
• 知識グラフ内の関連属性に対応する正確な部位が強調される、解釈可能で属性に敏感な特徴マップを生成するフレームワークを開発すること。
• 知識埋め込みが、細分化分類タスクにおいてより頑健で一般化可能な表現をもたらすことを実証すること。

提案手法

• Caltech-UCSD Birdsデータセット上で、鳥のカテゴリとその部位レベルの属性（例：'wing: iridescent'、'head: masked'）の関係をモデル化する大規模な知識グラフを構築する。
• ゲーテッド・グラフニューラルネットワーク（GGNN）を用いて、知識グラフ内のノード間でメッセージを伝搬させ、文脈を反映した知識表現を生成する。
• 学習済みの知識表現を動的に制御する新しいゲーテッドメカニズムを導入し、畳み込み特徴マップを属性に敏感に変調することで、属性に配慮した特徴学習を実現する。
• 画像特徴量と知識表現のゲーテッド統合により、意味的属性と整合する、注目度に似た特徴マップを生成する。
• 知識グラフをインダクティブバイアスとして用い、クロスエントロピー損失を用いてエンドツーエンドのモデルを訓練する。
• グローバル平均プーリングの前段階で特徴マップを可視化し、空間的注目パターンを分析し、知識グラフに埋め込まれた属性と整合しているかを検証する。

実験結果

リサーチクエスチョン

• RQ1 部位レベルの属性に関する構造化された知識は、生の画像からのエンドツーエンド学習を上回る細分化画像認識性能を向上させることができるか？
• RQ2 色、形状、パターンなどの高レベルの視覚的概念を、細分化分類のための深層ニューラルネットワークに効果的に符号化・利用できるか？
• RQ3 知識埋め込みにより、関連する体部を正確に強調する解釈可能で意味的に意味のある特徴マップが得られるか？
• RQ4 特徴量の連結や自己ガイド付き注目と比較して、提案されたKERLフレームワークは、知識統合戦略として優れているか？
• RQ5 視覚的に類似したサブカテゴリを区別するために属性が重要であるような状況において、このフレームワークは一般化可能か？

主な発見

• KERLは、'bird in bbox'設定で86.6%、'bird in image'設定で86.3%のトップ1正解率を達成し、ベースラインのCB-CNN（84.6%および85.0%）および他のベースラインを上回った。
• GGNNを省いた自己ガイド付き特徴選択ベースラインは、それぞれ84.8%および85.3%にとどまり、知識統合が性能向上に不可欠であることを示している。
• グラフ特徴量との特徴量連結では、85.4%および85.5%にとどまり、KERLのゲーテッド統合メカニズムに比べて単純な統合では不十分であることが示された。
• 可視化により、KERLが属性に敏感な特徴マップを学習していることが確認された：'Sayornis'の場合、'throat: buff & white'および'wing: buff & brown'に対応する喉と翼が一貫して強調されている。
• これに対して、ベースラインのCB-CNNは散在的または背景に位置する活性化を示し、関連属性と意味的に整合しない。
• 強調された領域が、キーディスティングイッシュング属性を定義する知識グラフのノードと正確に一致するため、フレームワークの解釈可能性が向上している。