[論文レビュー] Multi-Modal Multi-Scale Deep Learning for Large-Scale Image Annotation

Yulei Niu, Zhiwu Lu+3 more|arXiv (Cornell University)|Sep 5, 2017

Advanced Image and Video Retrieval Techniques参考文献 40被引用数 7

ひとこと要約

本稿では、複数のネットワークの深さにまたがる豊かな視覚的特徴を同時に学習し、それを効果的に統合する、大規模画像アノテーション向けのマルチモーダル・マルチスケール深層学習フレームワークを提案する。同時に、新しいラベル数予測（LQP）ヘッドを用いて、各画像の最適なラベル数を明示的に予測する。本手法は、画像とノイズの多いユーザータグを併用することで、エンド・トゥ・エンドの学習と明示的な回帰ベースのラベル数推定を組み合わせることで、ベンチマークデータセット上で最先端の手法を上回る性能を達成する。

ABSTRACT

Image annotation aims to annotate a given image with a variable number of class labels corresponding to diverse visual concepts. In this paper, we address two main issues in large-scale image annotation: 1) how to learn a rich feature representation suitable for predicting a diverse set of visual concepts ranging from object, scene to abstract concept; 2) how to annotate an image with the optimal number of class labels. To address the first issue, we propose a novel multi-scale deep model for extracting rich and discriminative features capable of representing a wide range of visual concepts. Specifically, a novel two-branch deep neural network architecture is proposed which comprises a very deep main network branch and a companion feature fusion network branch designed for fusing the multi-scale features computed from the main branch. The deep model is also made multi-modal by taking noisy user-provided tags as model input to complement the image input. For tackling the second issue, we introduce a label quantity prediction auxiliary task to the main label prediction task to explicitly estimate the optimal label number for a given image. Extensive experiments are carried out on two large-scale image annotation benchmark datasets and the results show that our method significantly outperforms the state-of-the-art.

研究の動機と目的

• 大規模画像アノテーションに適した、物体や風景、抽象的属性にまで及ぶ多様な視覚的コンセプトをカバーする、豊富でマルチスケールの視覚的表現を学習する課題に対処すること。
• 固定されたtop-k選択に依存するのではなく、各画像の最適なラベル数を明示的に予測することにより、変動するラベル数問題を解決すること。
• 画像とは別にタグとして提供されるノイズの多いユーザー入力タグをモダリティとして統合することで、マルチモーダル学習による特徴表現の向上を図ること。
• RNNベースのモデルが人工的なラベル順序付けを通じてラベル数を暗黙的に推定するのを補うために、直接的な回帰ベースのラベル数予測ヘッドを導入すること。

提案手法

• 視覚的特徴抽出用の非常に深いメインネットワークブランチと、メインネットワークの異なる層から得たマルチスケール特徴を統合する補助的特徴統合ブランチを備えた、二本のブランチからなる深層ニューラルネットワークアーキテクチャを提案する。
• ResNetベースのバックボーンの複数の層からマルチスケール特徴を抽出し、専用の特徴統合ネットワークを用いて統合することで、異なる抽象レベルのコンセプトに対する表現を強化する。
• ノイズの多いユーザー提供タグをテキスト入力モダリティとして統合することで、モデルをマルチモーダル化し、視覚的特徴と統合することで表現を豊かにする。
• ラベル数予測（LQP）ヘッドとして、平均二乗誤差損失を用いた回帰ヘッドを導入し、各画像の関連ラベル数を予測する。これにより、エンド・トゥ・エンド最適化が可能になる。
• マルチラベル分類損失とLQP回帰損失を同時に最小化することで、分類とラベル数予測の両タスクを統合的に最適化し、相互にパフォーマンス向上を図る。
• 視覚的・テキスト的表現モジュールを事前学習し、その後すべてのパラメータを微調整することで、事前学習およびファインチューニング戦略をサポートする。

実験結果

リサーチクエスチョン

• RQ1 マルチスケールの深層学習アーキテクチャは、物体から抽象的属性に至る多様な視覚的コンセプトを、大規模画像アノテーションにおいて効果的に捉えることができるか？
• RQ2 固定top-k選択や暗黙的なRNNベースのシーケンス生成と比較して、回帰ベースのヘッドによるラベル数の明示的予測はパフォーマンスを向上させるか？
• RQ3 ノイズの多いユーザー提供タグをモダリティとして統合することで、マルチモーダル学習フレームワークにおける画像アノテーションの質にどのような影響を与えるか？
• RQ4 分類タスクとラベル数予測タスクの両方をエンド・トゥ・エンドで最適化することで、より優れた特徴表現と全体的なパフォーマンスが得られるか？
• RQ5 分類ベースのアプローチと比較して、提案されたLQP手法は、ラベル数予測の代替戦略としてより効果的か？

主な発見

• 提案手法は、NUS-WIDEおよびMS-COCOの両ベンチマークデータセットで、最先端の手法を顕著に上回り、大規模画像アノテーション分野における優れたパフォーマンスを示している。
• 平均二乗誤差回帰を用いたラベル数予測（LQP）ヘッドは、分類ベースのアプローチを2%以上上回る性能を発揮しており、変動するラベル数の推定に回帰がより適していることが示された。
• エンド・トゥ・エンドの学習戦略により、分類精度とラベル数予測精度の両方が向上し、両タスクが共同最適化によって相互に恩恵を受けることが確認された。
• 適切な確率閾値（例：p=0.3）を用いたラベル選択は、固定top-k選択よりも優れた結果をもたらすが、LQP手法は依然としてそのアプローチを上回る。
• 定性的な結果から、モデルは正確で文脈的に整合性のあるアノテーションを生成しており、正解ラベルではないが意味論的に妥当なラベルも適切に生成していることが確認された。
• アブレーションスタディにより、マルチスケール特徴統合、マルチモーダル入力、LQPヘッドの各コンポONENTが、全体のパフォーマンス向上に有意義に寄与していることが裏付けられた。