[論文レビュー] Reliable and Efficient Image Cropping: A Grid Anchor based Approach

Hui Zeng, Lida Li+2 more|arXiv (Cornell University)|Apr 9, 2019

Advanced Image and Video Retrieval Techniques参考文献 39被引用数 8

ひとこと要約

本稿では、1つの画像あたりの候補クロップ数を数百万から100未塔に削減するグリッドアンカーベースの画像クロッピング手法を提案する。これにより、1,236枚の画像にわたる106,860件のアノテート済みクロップを含む、新たなベンチマークが構築可能になった。本手法は、125 FPSで視覚的に魅力的なクロップを生成する軽量で効率的なネットワークを採用し、精度と速度の両面で先行研究を上回る。また、IoUベースの評価や疎な人間アノテーションの限界に対処している。

ABSTRACT

Image cropping aims to improve the composition as well as aesthetic quality of an image by removing extraneous content from it. Existing image cropping databases provide only one or several human-annotated bounding boxes as the groundtruth, which cannot reflect the non-uniqueness and flexibility of image cropping in practice. The employed evaluation metrics such as intersection-over-union cannot reliably reflect the real performance of cropping models, either. This work revisits the problem of image cropping, and presents a grid anchor based formulation by considering the special properties and requirements (e.g., local redundancy, content preservation, aspect ratio) of image cropping. Our formulation reduces the searching space of candidate crops from millions to less than one hundred. Consequently, a grid anchor based cropping benchmark is constructed, where all crops of each image are annotated and more reliable evaluation metrics are defined. We also design an effective and lightweight network module, which simultaneously considers the region of interest and region of discard for more accurate image cropping. Our model can stably output visually pleasing crops for images of different scenes and run at a speed of 125 FPS. Code and dataset are available at: https://github.com/HuiZeng/Grid-Anchor-based-Image-Cropping.

研究の動機と目的

• 1枚の画像に対して1つまたは数個のヒューマンアノテート済みクロップしか提供しない既存の画像クロッピングベンチマークの限界を解消し、現実世界のクロッピングにおける非一意性と柔軟性を的確に反映する。
• IoUのような標準的な指標が、視覚的に不快なクロップをより良い構図よりも高い順位にランク付けしてしまうなど、信頼性の低い問題を克服する。
• グリッドアンカー定式化を用いて、候補クロップの膨大な探索空間（数百万から100未塔に）を大幅に削減し、効率的かつ効果的な学習を可能にする。
• 多様なシーンやアスペクト比に対応できる、軽量で高速なモデルを構築し、視覚的に魅力的なクロップを生成する。
• 信頼性の高い評価指標を備えた、包括的なベンチマークを構築し、客観的なモデル比較を可能にする。

提案手法

• 画像を固定グリッドに分割するグリッドアンカーベースの定式化を提案し、候補クロップの探索空間を数百万から100未塔にまで大幅に削減する。
• 視覚的注目領域と除外すべき領域を同時にモデル化する、新規の軽量CNNベースのクロッピングモジュールを設計し、より優れたクロップ選択を実現する。
• 信頼性の高い2段階のアノテーション戦略を用い、1,236枚のソース画像と106,860件のアノテート済みクロップを含む新規ベンチマークを構築する。
• 信頼性の高いペairwise比較に基づき、IoUに代わる2つの新規評価指標（トップkでの正確性と、新たな順位付けベースの指標）を定義する。
• 2段階のトレーニングパイプラインを採用：まず、信頼性の高いペアワイズ順位付けでView Evaluation Network（VEN）を訓練し、次にその予測結果を用いて、推論用の高速なView Proposal Network（VPN）を教師付きで学習する。
• 削減された探索空間と効率的なネットワークアーキテクチャを活用し、推論速度を最適化することで、標準ハードウェアでも125 FPSを達成する。

実験結果

リサーチクエスチョン

• RQ1 グリッドアンカーベースの定式化は、視覚的品質と柔軟性を保ちつつ、画像クロッピングの探索空間を顕著に削減できるか？
• RQ2 密度の高いマルチクロップアノテーションを備えたベンチマークは、単一または少数のクロップアノテーションよりも、モデル評価をより信頼性の高いものにできるか？
• RQ3 新規ベンチマークで学習された軽量でエンドツーエンドのネットワークは、精度と推論速度の両面で、既存の最先端モデルを上回れるか？
• RQ4 特に視覚的に魅力的なクロップが低いIoUを持つ場合に、IoUは画像クロッピングモデルの評価に信頼できる指標と見なせるか？
• RQ5 ペアワイズ順位付けの教師信号で学習したモデルは、多様なアスペクト比や画像構成に一般化し well に機能するか？

主な発見

• 提案手法のグリッドアンカーベース定式化により、1枚あたりの候補クロップ数が数百万から100未塔にまで削減され、効率的かつスケーラブルな学習が可能になった。
• 新規ベンチマークには1,236枚のソース画像と106,860件のアノテート済みクロップが含まれており、多様なシーンやアスペクト比をカバーする包括的かつ信頼性の高いデータセットを提供する。
• 推論速度は125 FPSを達成し、A2-RL（反復的にクロップを最適化） や VFN/VDN（個々のクロップを処理）といった先行研究を大きく上回っている。
• 定量的指標において、本手法はVEN、VFN、A2-RLを大きく上回り、トップ1、トップ5、トップ10の順位での正確性が優れている。
• 単一オブジェクト、複数オブジェクト、建物、風景など多様なシーンにおいて、さまざまなアスペクト比に対応し、一貫して視覚的に魅力的なクロップを生成する。
• 信頼性の高いペアワイズ順位付けに基づく新規評価指標は、IoUでは強いベースライン（Baseline_N および Baseline_C）が最近の多くのモデルを上回ることを示しており、IoUが評価指標として信頼性の低いものであることが浮き彫りになった。