[論文レビュー] Multi-Label Image Classification with Regional Latent Semantic Dependencies

Junjie Zhang, Qi Wu+3 more|arXiv (Cornell University)|Dec 4, 2016

Text and Document Classification Technologies参考文献 7被引用数 16

ひとこと要約

この論文では、領域提案とRNNを用いて領域レベルでのラベル依存関係を捉えることで、マルチラベル画像分類のための領域的潜在的意味的依存関係（RLSD）モデルを提案する。小さな意味的に関連するオブジェクトを局所化し、再帰的ネットワークを用いてそれらの共起をモデル化することで、RLSDは特に小さなオブジェクトにおいて、トレーニング時にボクセルボックスアノテーションを必要とせずにMS-COCOおよびNUS-WIDEで最先端の性能を達成する。

ABSTRACT

Deep convolution neural networks (CNN) have demonstrated advanced performance on single-label image classification, and various progress also have been made to apply CNN methods on multi-label image classification, which requires to annotate objects, attributes, scene categories etc. in a single shot. Recent state-of-the-art approaches to multi-label image classification exploit the label dependencies in an image, at global level, largely improving the labeling capacity. However, predicting small objects and visual concepts is still challenging due to the limited discrimination of the global visual features. In this paper, we propose a Regional Latent Semantic Dependencies model (RLSD) to address this problem. The utilized model includes a fully convolutional localization architecture to localize the regions that may contain multiple highly-dependent labels. The localized regions are further sent to the recurrent neural networks (RNN) to characterize the latent semantic dependencies at the regional level. Experimental results on several benchmark datasets show that our proposed model achieves the best performance compared to the state-of-the-art models, especially for predicting small objects occurred in the images. In addition, we set up an upper bound model (RLSD+ft-RPN) using bounding box coordinates during training, the experimental results also show that our RLSD can approach the upper bound without using the bounding-box annotations, which is more realistic in the real world.

研究の動機と目的

• マルチラベル画像分類における小さなオブジェクトや視覚的コンセプトを正確に予測する課題に対処すること。
• グローバル画像レベルだけでなく、領域レベルでもラベル依存関係をモデル化することで、意味的理解を向上させること。
• トレーニング時にボクセルボックスアノテーションに依存しない方法を開発し、現実世界への適用可能性を高めること。
• 特に細分化されたおよび小規模な視覚的コンセプトの予測において、既存の最先端モデルを上回ること。

提案手法

• モデルは入力画像から特徴を抽出するために完全畳み込みネットワークを用いる。
• 候補領域を局所化するための、RPNに類似したモジュールが、複数の意味的に関連するラベルを含む可能性のある領域を特定する。
• 局所化された領域は全結合ネットワークで符号化され、再帰的ニューラルネットワーク（RNN）に供給され、領域レベルでのラベル間の潜在的意味的依存関係をモデル化する。
• RNNは領域特徴を逐次処理し、直前の予測からの文脈に基づいてマルチラベル予測を生成する。
• 最大プーリング処理により、すべての領域からの予測が統合され、最終的なマルチラベル出力が得られる。
• モデルはクロスエントロピー損失またはランク損失を用いてエンドツーエンドで訓練され、比較のための上限バージョン（RLSD+ft-RPN）は、真のボクセルボックスを用いて評価される。

実験結果

リサーチクエスチョン

• RQ1 領域レベルでのラベル依存関係のモデル化は、特に小さなオブジェクトにおいて、マルチラベル画像分類の性能を向上させることができるか？
• RQ2 領域特徴のモデル化は、グローバル特徴のモデル化と比較して、意味的共起パターンをどれほど効果的に捉えられるか？
• RQ3 トレーニング時にボクセルボックスアノテーションを必要としないモデルが、どの程度高い性能を達成できるか？
• RQ4 ボクセルボックスアノテーションがトレーニング時に利用可能な場合、提案されたRLSDモデルは性能の上限にどの程度近づけるか？

主な発見

• MS-COCOデータセットでは、RLSDは60.3%のO-F1と54.1%のmAPを達成し、CNN-RNNよりO-F1で5.1%、mAPで4.9%高い性能を示した。
• 「鳥」「消火栓」「凧」のような小さなオブジェクトに関して、RLSDは精度-再現率曲線の観点から、ベースラインを顕著に上回った。
• NUS-WIDEでは、RLSDは60.3%のO-F1と54.1%のmAPを達成し、前回の最先端手法であるCNN-RNNよりO-F1で4.9%、mAPで4.9%高い性能を示した。
• 真のボクセルボックスをトレーニング時に使用するRLSD+ft-RPNバージョンは68.2%のO-F1を達成し、アノテーションなしでも性能上限に近づけることを示した。
• 小さなオブジェクトにおいて、RLSDはCNN+LSTMよりも高い再現率を達成しており、細分化されたおよび小規模な視覚的コンセプトに対する感受性が優れていることを示している。
• 定性的な結果から、RLSDは「ボトル」「花瓶」「ワイングラス」のような小さなオブジェクトを他のモデルが見逃すのを効果的に予測していることがわかった。