[論文レビュー] Annotation Order Matters: Recurrent Image Annotator for Arbitrary Length Image Tagging

Jiren Jin, Hideki Nakayama|arXiv (Cornell University)|Apr 18, 2016

Image Retrieval and Classification Techniques参考文献 33被引用数 20

ひとこと要約

本論文は、畳み込みニューラルネットワーク（CNN）で抽出された画像特徴を条件とするRNNを用いて、画像タグ付けを系列生成問題として定式化する再帰的画像アノテータ（RIA）を提案する。これにより、画像の内容に基づいて任意長のタグ予測が可能となる。主な貢献は、トレーニング時のタグ系列順序が性能に顕著な影響を及ぼすことを示したことであり、特にレアタグを先に配置する順序（rare-first）が、複数のデータセットで最良の結果をもたらすことを明らかにした。

ABSTRACT

Automatic image annotation has been an important research topic in facilitating large scale image management and retrieval. Existing methods focus on learning image-tag correlation or correlation between tags to improve annotation accuracy. However, most of these methods evaluate their performance using top-k retrieval performance, where k is fixed. Although such setting gives convenience for comparing different methods, it is not the natural way that humans annotate images. The number of annotated tags should depend on image contents. Inspired by the recent progress in machine translation and image captioning, we propose a novel Recurrent Image Annotator (RIA) model that forms image annotation task as a sequence generation problem so that RIA can natively predict the proper length of tags according to image contents. We evaluate the proposed model on various image annotation datasets. In addition to comparing our model with existing methods using the conventional top-k evaluation measures, we also provide our model as a high quality baseline for the arbitrary length image tagging task. Moreover, the results of our experiments show that the order of tags in training phase has a great impact on the final annotation performance.

研究の動機と目的

• 画像アノテーションにおける固定長のtop-k評価の限界を是正すること。これは、現実のヒトのタグ付け行動を反映していない。
• 画像の内容に基づいて可変長のタグ系列を自然に予測できる、画期的な系列生成アプローチを提案すること。
• トレーニング時のタグ系列順序が、系列ベースの画像アノテーションモデルの性能に与える影響を調査すること。
• 今後の研究分野として台頭しつつある任意長の画像タグ付けタスクのための高品質なベースラインを確立すること。

提案手法

• 畳み込みニューラルネットワーク（RNN）を用いて、CNNでエンコードされた画像特徴を条件とする画像アノテーションを系列生成問題として定式化する。
• 画像特徴を抽出するために事前学習済みのCNN（GoogLeNet）を用い、そのfc7層の特徴をRNNの入力とする。
• RNNデコーダーを用いて、隠れ状態のコンテキストを活用して1つずつタグを生成する。自己回帰的予測を採用する。
• トレーニング時に複数のタグ順序戦略（辞書順、ランダム、頻度順先、レア順先）を検討し、モデルの一般化性能への影響を評価する。
• タグ分類層にドロップアウト（0.5）を適用し、エンドツーエンドの学習に交差エントロピー損失関数を用いる。
• 標準指標（精度、再現率、F1）に加え、クラスごとの性能を評価するための新規なN+スコアを導入して性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 トレーニング時のタグ系列順序の選択が、系列ベースの画像アノテーションモデルの性能にどのように影響するか？
• RQ2 再帰モデルは、画像の意味的豊かさを反映した可変長のタグ系列を効果的に生成できるか？
• RQ3 提案されたRIAモデルは、top-5および任意長タグ付け設定の両方において、最先端手法と同等の性能を達成できるか？
• RQ4 特定のタグ順序戦略が、モデルの一般化性能およびクラスごとの性能を一貫して向上させるか？

主な発見

• IAPR TC12およびESP Gameデータセットにおいて、rare-firstタグ順序戦略が、精度、再現率、F1のすべての評価指標で他の順序戦略を上回った。
• rare-first順序で学習したモデルは、収束が早く、特にレアタグのクラスごとの再現率が顕著に高い。
• 頻度順先（frequent-first）順序は、予測が簡単な頻出タグに過剰に注目するため、再現率とF1の観点で著しく劣り、特に稀なタグの予測性能が損なわれる。
• RIAモデルは、メトリクス学習や手作業で設計された特徴を一切用いずに、深層特徴のみを用いて最先端手法と同等のtop-5性能を達成した。
• GPU上では1枚あたり5 msの推論速度を達成しており、KNNベースのベースラインと比較して高い効率性を示した。
• 本研究は、タグ系列順序が系列ベースの画像アノテーションにおいて重要なハイパーパrameterであり、モデル性能に顕著な影響を与えることを確認した。