[論文レビュー] Recurrent Attentional Reinforcement Learning for Multi-label Image Recognition

Tianshui Chen, Zhouxia Wang+2 more|arXiv (Cornell University)|Dec 20, 2017

Domain Adaptation and Few-Shot Learning参考文献 20被引用数 14

ひとこと要約

本稿では、画像レベルのラベルのみを用いてエンドツーエンド学習を可能にする、繰り返し的で注意メカニズムを備えた強化学習フレームワークを提案する。このフレームワークはLSTMベースのエージェントを用いて段階的に判別性の高い画像領域を特定し、長期間にわたる依存関係をモデル化するとともに、ラベルの共発生を明示的に捉えることで、PASCAL VOCおよびMS-COCOベンチマークで提案手法を凌駕する最先端の精度と効率性を達成する。

ABSTRACT

Recognizing multiple labels of images is a fundamental but challenging task in computer vision, and remarkable progress has been attained by localizing semantic-aware image regions and predicting their labels with deep convolutional neural networks. The step of hypothesis regions (region proposals) localization in these existing multi-label image recognition pipelines, however, usually takes redundant computation cost, e.g., generating hundreds of meaningless proposals with non-discriminative information and extracting their features, and the spatial contextual dependency modeling among the localized regions are often ignored or over-simplified. To resolve these issues, this paper proposes a recurrent attention reinforcement learning framework to iteratively discover a sequence of attentional and informative regions that are related to different semantic objects and further predict label scores conditioned on these regions. Besides, our method explicitly models long-term dependencies among these attentional regions that help to capture semantic label co-occurrence and thus facilitate multi-label recognition. Extensive experiments and comparisons on two large-scale benchmarks (i.e., PASCAL VOC and MS-COCO) show that our model achieves superior performance over existing state-of-the-art methods in both performance and efficiency as well as explicitly identifying image-level semantic labels to specific object regions.

研究の動機と目的

• 境界ボックスのアノテーションを必要としない画像レベルラベルのみを用いた、提案ベースの多ラベル認識手法の非効率性と性能の劣化を是正すること。
• 複数の物体領域間の長期間にわたる空間的および意味的依存関係をモデル化し、画像内のラベル共発生パターンを捉えること。
• 境界ボックスアノテーションを一切不要とし、画像レベルラベルのみを用いてエンドツーエンド学習を可能にすること。
• 強化学習を用いて段階的かつ適応的に情報量の多い領域を発見する意思決定メカニズムを構築すること。
• 従来の最先端手法と比較して、分類精度と計算効率の両方を向上させること。

提案手法

• 入力画像から深層特徴マップを抽出するために、完全畳み込みネットワーク（VGG16）を用いる。
• LSTMベースの繰り返し的注意モジュールが、各イテレーションで注意領域の位置とクラススコアを逐次予測する。隠れ状態を用いて直前のイテレーションからの文脈をモデル化する。
• 各ステップで、予測位置の周囲に異なるスケールとアスペクト比を持つ複数の領域をサンプリングし、物体カバレッジを向上させる。
• エージェントは強化学習で訓練され、行動は注意領域の選択、状態は現在の特徴量と直前の隠れ状態を含み、報酬は分類の正誤に基づく。
• 境界ボックスアノテーションを必要とせず、画像レベルラベルのみを用いてエンドツーエンド最適化を行う。
• より高い耐性を得るために、複数の画像スケールで予測を集約するマルチビュー推論戦略を採用する。

実験結果

リサーチクエスチョン

• RQ1 境界ボックスの監視なしに、反復的かつ注意に基づいた方法で複数の判別性の高い物体領域を効果的に発見できるか？
• RQ2 注意領域間の長期間依存関係をモデル化することで、多ラベル認識性能がどのように向上するか？
• RQ3 精度と計算効率のバランスを考慮した場合、最適なイテレーション回数は何か？
• RQ4 1つの領域ではなく、異なるスケールとアスペクト比を持つ複数の領域を1イテレーションでサンプリングすることで、性能にどのような影響を与えるか？
• RQ5 本手法は、精度と推論速度の両面で、提案ベースのベースラインをどの程度上回るか？

主な発見

• 10ビュー評価（512×512スケール）を用いたPASCAL VOC 2007データセットにおいて、本手法はmAP 91.3%を達成し、既存の最先端手法を上回った。
• 1イテレーションあたり9領域（3スケール×3アスペクト比）をサンプリングした場合、mAPが0.4%上昇（91.3%）し、単一領域サンプリング（90.9%）と比較して多様な領域サンプリングの有効性を示した。
• 最適な再帰的イテレーション回数は5回であり、それ以上に増やすと性能向上が得られず、ノイズの導入の可能性があることが分かった。
• 1枚の画像あたりの推論時間は単一GPUで約350msであり、HCP や FeV+LV といった提案ベース手法（1枚あたり約10秒）と比較して約30倍高速であった。
• 定性的な可視化では、異なるスケールとアスペクト比を有する多様な物体（例：男性とボート）が、別々のイテレーションで正しく特定されていることから、本フレームワークは多様な物体を効果的に局在化できていることが示された。
• アブレーションスタディの結果、局在化と分類の両方でLSTMを用いる（Ours-C）ことで最高の性能が得られ、ラベル共発生を捉えるために再帰的文脈モデリングが重要であることが確認された。