[論文レビュー] Learning Image Conditioned Label Space for Multilabel Classification

Yinan Li, Mei-Chen Yeh|arXiv (Cornell University)|Feb 21, 2018

Image Retrieval and Classification Techniques参考文献 28被引用数 3

ひとこと要約

本稿では、多ラベル画像分類のための画素依存の順序付けモデルを提案する。このモデルは、画像から単語ベクトルをk次元空間に写像する変換行列を学習し、関連するラベルの順序付けを効果的に行う。従来のCNNが画像表現を学習するのに対し、本手法は関連するラベルと関係のないラベルを区別するための変換を学習する。NUS-WIDEベンチマークにおいて、少ない学習画像で最先端の性能を達成する。

ABSTRACT

This work addresses the task of multilabel image classification. Inspired by the great success from deep convolutional neural networks (CNNs) for single-label visual-semantic embedding, we exploit extending these models for multilabel images. Specifically, we propose an image-dependent ranking model, which returns a ranked list of labels according to its relevance to the input image. In contrast to conventional CNN models that learn an image representation (i.e. the image embedding vector), the developed model learns a mapping (i.e. a transformation matrix) from an image in an attempt to differentiate between its relevant and irrelevant labels. Despite the conceptual simplicity of our approach, experimental results on a public benchmark dataset demonstrate that the proposed model achieves state-of-the-art performance while using fewer training images than other multilabel classification methods.

研究の動機と目的

• 複雑な同時発生依存関係を有する、複数の意味的に関連するまたは独立したラベルを含む画像における多ラベル画像分類の課題に対処すること。
• スケーラビリティ、意味的冗長性、多ラベル設定におけるラベル同時発生の課題を抱える既存のCNNベースのモデルの限界を克服すること。
• 固定された画像埋め込みではなく、画像空間からラベル空間への変換を学習する、シンプルでありながら強力なフレームワークを構築すること。
• オブジェクトセグメンテーションやバウンディングボックス、RNNのような複雑なアーキテクチャを必要とせず、効率的なエンドツーエンド学習を可能にすること。
• 将来の拡張において、ゼロショット予測および非線形変換の可能性を検討すること。

提案手法

• モデルは、畳み込みニューラルネットワーク（CNN）から得られるk×dの変換行列Aを学習し、単語ベクトルを元の空間からk次元のユークリッド空間に写像する。
• 変換行列Aの各行は、入力画像に対するラベルの関連性に沿って順序付けられる単語ベクトル空間内の主成分方向を表す。
• 学習済み行列Aを用いて単語ベクトルの線形変換を行い、変換空間における順序付けによる高速かつ正確なラベル予測を実現する。
• 関連ラベルと非関連ラベルの分離を最適化するために、順序付け損失を用いてエンドツーエンドでフレームワークを学習する。
• モデルは、同じCNN特徴を共有するk個の補完的分類器のアンサンブルとして解釈され、ラベル予測は投票によって集約される。
• RNNや領域提案モジュールのような複雑なサブネットワークを回避することで、シンプルさを保ちつつラベル依存関係をモデル化する。

実験結果

リサーチクエスチョン

• RQ1 シンプルなCNNベースの変換行列は、入力画像に対するラベルの関連性に応じて効果的に順序付けを学習できるか？
• RQ2 固定された画像表現ではなく、変換を学習することで、多ラベル画像分類の性能が向上するか？
• RQ3 明示的なモデリングコンponentsを用いずに、意味的冗長性やラベル同時発生依存関係をどのように処理するか？
• RQ4 変換次元kの値が分類性能に与える影響は何か？
• RQ5 共有された意味的空間を用いて、未知のラベルに対するゼロショット予測が可能か？

主な発見

• 提案手法は、WARP や CNN-RNN といった既存モデルと比較して、はるかに少ない学習画像で NUS-WIDE ベンチマークにおいて最先端の性能を達成した。
• kの値（10から100の間）が異なる場合でも、性能が安定しており、変換次元の選定が全体の精度にほとんど影響しないことが示された。
• 個々の分類器が予測するラベル集合間の平均Jaccard係数は0.1001であり、k個の分類器間に高い多様性があることが示され、アンサンブル性能の向上に寄与している。
• k個の分類器の上位5件の予測を投票戦略で統合することで、63.8%のO-R（全体再現率）スコアを達成し、単一ラベルベースラインや先行手法を上回った。
• 限定的なデータで学習しても、モデルの性能は頑健であり、優れた一般化能力を示した。
• 概念的にシンプルでコンactな一方で、多ラベル分類のための多くの複雑なディープラーニングモデルよりも強力である。