[論文レビュー] Learning Structured Inference Neural Networks with Label Relations

Hexiang Hu, Guang-Tong Zhou+3 more|arXiv (Cornell University)|Nov 17, 2015

Advanced Image and Video Retrieval Techniques参考文献 32被引用数 11

ひとこと要約

本稿では、画像分類における階層的および階層間のラベル関係を、ラベルグラフ上でスタックされた双方向伝搬メカニズムによってラベル依存性をモデル化することで、階層的かつ相互に関連するラベル関係を活用する構造的推論ニューラルネットワーク（SINN）を提案する。この手法は、複数のベンチマークデータセットにおいて顕著な性能向上を示し、特に部分的に観測されたラベルを組み込む場合、細分化された景観認識において、mAPで最大6%、MCAccで最大4%の性能向上を達成し、最先端のベースラインを上回る。

ABSTRACT

Images of scenes have various objects as well as abundant attributes, and diverse levels of visual categorization are possible. A natural image could be assigned with fine-grained labels that describe major components, coarse-grained labels that depict high level abstraction or a set of labels that reveal attributes. Such categorization at different concept layers can be modeled with label graphs encoding label information. In this paper, we exploit this rich information with a state-of-art deep learning framework, and propose a generic structured model that leverages diverse label relations to improve image classification performance. Our approach employs a novel stacked label prediction neural network, capturing both inter-level and intra-level label semantics. We evaluate our method on benchmark image datasets, and empirical results illustrate the efficacy of our model.

研究の動機と目的

• 階層、包含、排他的関係を含む複雑な多層ラベル関係をモデル化することで、画像分類の性能を向上させること。
• 階層的な視覚的ラベル（粗いものから細分化されたものまで）を同時に予測するためのディーブラーニングフレームワークを構築すること。
• 人間が提供する高レベルのラベルを推論プロセスに統合することで、ラベルが部分的に観測された状況での性能を向上させること。
• 外部知識（例：WordNet や分類体系グラフ）から導出される構造的制約を、標準的なCNNベースの分類に拡張すること。

提案手法

• 各ラベルがラベル関係グラフ上のノードとして表現され、概念層間を双方向に伝搬するメカニズムを用いた、新規のスタックされたラベル予測ニューラルネットワークを採用する。
• CNN特徴に基づいてラベルノードを活性化し、粗いラベルから細分化されたラベルへとつながるスタックされた層によって階層間の依存関係をモデル化する。
• RNNに類似したメカニズムを用いて、ラベルグラフ全体にわたり非同期に情報を伝搬させ、反復的なメッセージ伝達によって予測を精緻化する。
• 外部のラベル関係（例：WordNet からのもの）をグラフ構造として統合し、正負の相関関係や意味的階層を符号化する。
• 一括での推論処理により、すべてのラベルスコアを同時に精緻化し、概念層全体にわたる整合性を保証する。
• 標準的な交差エントロピー損失を用いてエンドツーエンドで訓練可能であり、入力制約として部分的に観測されたラベルを扱えるように拡張可能である。

実験結果

リサーチクエスチョン

• RQ1 階層的および階層間のラベル関係をモデル化することで、マルチラベルおよびマルチグレイン分類設定における画像分類性能が向上するか？
• RQ2 部分的にしかラベルが観測されない状況において、ラベルグラフを用いた構造的推論が性能に与える影響は何か？
• RQ3 双方向ラベル伝搬を備えたディーブニューラルネットワークは、標準的なCNNやマルチラベルベースラインをどれほど上回るか？
• RQ4 WordNet分類体系などの外部知識を統合することで、ゼロショットまたはフェイントショット画像分類において一貫した性能向上が得られるか？

主な発見

• AWAデータセットでは、提案されたSINNモデルがCNN + Logisticsベースラインに対してMCAccで2.28%向上、mAP_Lで1.21%向上した。
• NUS-WIDEデータセットでは、SINNがベースライン比でMCAccを2.32%向上、mAP_Lを1.41%向上させ、IoUAccにおいて顕著な向上を示した。
• SUN397データセットでは、SINNが57.60%のMCAccを達成し、CNN + Logisticsベースライン（57.86% MCAcc）およびCNN + BINN（57.52% MCAcc）を上回り、mAP_Lで2.69%の向上を達成した。
• 屋内／屋外ラベルが部分的に観測された入力として与えられた場合、SINNは最良のベースライン比でMCAccを4%、mAP_Lを6%向上させ、63.46% MCAccおよび64.63% mAP_Lを達成した。
• ラベルの粒度が異なるデータセット全体にわたり、モデルは強固で一貫性のある性能を示し、特に細分化された分類において顕著な向上を示した。
• 可視化結果から、SINNが標準モデルが誤って予測したラベルを是正していることが確認され、曖昧または複雑なシーンにおいて特に顕著であった。