[論文レビュー] Spot the Difference by Object Detection

Junhui Wu, Yun Ye+2 more|arXiv (Cornell University)|Jan 3, 2018

Advanced Image and Video Retrieval Techniques参考文献 21被引用数 4

ひとこと要約

本稿では、デジタルデザインと印刷された写真画像の2つの書籍カバー画像の間の局所的差異を特定する、新しいオブジェクト検出ベースの手法を提案する。2枚の画像を6チャネル入力として重ね合わせ、差異を検出可能なオブジェクトとして扱う。初期マージ型Faster R-CNNバックボーンを用い、合成データで学習させるアプローチにより、モデル圧縮によって24倍の推論速度向上を達成し、高い精度を実現。検証ベースの手法を上回り、高価なバウンディングボックスアノテーションではなく、弱教師ありデータのみを必要とする。

ABSTRACT

In this paper, we propose a simple yet effective solution to a change detection task that detects the difference between two images, which we call "spot the difference". Our approach uses CNN-based object detection by stacking two aligned images as input and considering the differences between the two images as objects to detect. An early-merging architecture is used as the backbone network. Our method is accurate, fast and robust while using very cheap annotation. We verify the proposed method on the task of change detection between the digital design and its photographic image of a book. Compared to verification based methods, our object detection based method outperforms other methods by a large margin and gives extra information of location. We compress the network and achieve 24 times acceleration while keeping the accuracy. Besides, as we synthesize the training data for detection using weakly labeled images, our method does not need expensive bounding box annotation.

研究の動機と目的

• 商業的適合性に不可欠な、デジタル書籍デザインとその印刷写真画像との間の微細で局所的な変更を検出する課題に対処すること。
• 従来の検証手法がグローバル特徴に重点を置き、テキストやパターンの変更といった小さなが意味のある局所的差異を無視するという限界を克服すること。
• バウンディングボックスアノテーションに代えて、弱教師ありの画像ペアを用いることで、アノテーションコストを最小限に抑えた、耐障害性とスケーラビリティに優れたソリューションの開発。
• モデル圧縮により推論速度を大幅に向上させつつ、実世界のデータでも高い性能を維持する、高精度で高速な推論を達成すること。

提案手法

• デジタルデザインと写真画像の2つのアラインされたRGB画像を1つの6チャネル入力テンソルに統合し、両画像間での特徴の共同学習を可能にする。
• 初期畳み込み層で両画像ブランチからの特徴を統合する早期マージ型CNNアーキテクチャを採用し、計算を共有することで効率性を向上させる。
• Faster R-CNNを検出フレームワークとして採用し、領域提案は領域提案ネットワーク（RPN）が生成し、差異を検出可能なオブジェクトとして扱う。
• 3種類の摂動を用いて学習データを合成する：1枚の画像からパッチをコピーして別の画像に貼り付ける（アラインメントあり・なし）、および不一致画像ペアを全体的な差異例として使用する。
• バウンディングボックスアノテーションを一切使用せず、画像が異なるかどうかを示す弱教師ラベルのみに依存してモデルを学習する。
• ネットワークサイズの縮小と推論速度の24倍向上を実現するため、モデル圧縮技術を適用する。

実験結果

リサーチクエスチョン

• RQ1 微細で局所的な差異が存在するが、視覚的にノイズが多い状況下でも、オブジェクト検出が効果的に適用可能かどうか。
• RQ2 従来の検証手法（例：シアン型ネットワーク、フィッシャー特徴ベクトル符号化）と比較して、本手法は書籍カバー画像における小さなが意味のある変更をどれほど正確に検出できるか。
• RQ3 バウンディングボックスアノテーションが不要な弱教師ありの画像ペアから生成された合成学習データで学習したモデルが、高価なアノテーションなしに、実世界のノイズを含む写真画像へどれほど一般化できるか。
• RQ4 モデル圧縮により、リアルタイム産業応用環境下で推論速度を顕著に向上させつつ、検出精度を劣化させないか。

主な発見

• 提案手法は、フィッシャー特徴ベクトル符号化、シアン型ネットワーク、6チャネル分類手法といった検証ベースのアプローチを上回り、書籍カバー画像における局所的差異の検出性能を示した。
• モデル圧縮を施した後、推論速度が24倍に向上しながらも高い精度を維持しており、生産ラインにおけるリアルタイム導入に適している。
• バウンディングボックスを含まない弱教師ありの画像ペアから生成された合成学習データにより、合成データおよび実世界のテストデータの両方で効果的な検出性能が達成された。
• 本手法は、照明の変化、色調のずれ、微小な汚れといった無関係な視覚的ノイズを背景として処理し、テキストやパターンの変更といった意味のある差異を正確に検出できた。
• 誤検出は主に、反射性素材、微小なずれ、印刷されていないが貼付された要素が関与するケースに発生するが、これらは商業的に有意義ではない視覚的差異である。
• 見逃し検出は、人間の視認が困難なほど微細な差異、黒いマージンが背景として誤分類される場合、または画像の不一致により検出信頼度が低下する場合に発生する。